No Number Challenge – Vision und Realität

By | 5. Dezember 2017

Der Artikel heute ist ein Gastbeitrag von Urs Boller (der im #measure Slack aktiver ist als auf Twitter, zugegeben)

Die Entwicklung von Adobe Analytics und insbesondere die Visualisierungsmöglichkeiten in Workspace schreiten mit grossen Schritten voran. Bei meinen ersten Gehversuchen im Workspace war es typisch, dass eine Sammlung von Tabellen angezeigt wurde, in denen der Empfänger die relevanten Daten mühsam lesen und insbesondere interpretieren musste. Erst nach und nach kamen weitere Features dazu, die das Leben eines Analysten erleichtern und dem Empfänger der Berichte einen schnelleren Eindruck in die Zahlen ermöglichen: Diverse Visualisierungsmöglichkeiten, Calculated Metrics und Custom Time Ranges zur Ermittlung von Veränderungen, um nur die Wichtigsten zu erwähnen.

Die Herausforderung: so einfach wie möglich

Eine grosse Herausforderung blieb aber lange Zeit bestehen: In einer einzelnen Tabelle lassen sich nur beschränkt Daten kombinieren. Bei einer Produkt-Tabelle lassen sich einige Informationen darstellen, wie zum Beispiel die Anzahl Orders, Anzahl Einheiten oder den Erlös. Wenn aber weitere Kennzahlen hinzugefügt werden sollen, wird dies in meist in anderen Tabellen vorgenommen. Somit sehen die Tabellen in etwa so aus:

Typische Tabelle in einem Workspace

Eine Kombination von verschiedenen Metriken (Orders, Gewinn, Bestelldauer, Erstbestellungen etc.) in einer einzelnen Tabelle schien ein Ding der Unmöglichkeit – oder doch nicht? Ist es möglich, verschiedene Success-Events in einer kompakten Tabelle darzustellen? Wäre es nicht toll, wir könnten eine noch einfachere Tabelle erstellen? zum Beispiel mit verschiedenen Metriken, jeweils mit dem vereinbarten Ziel und einer Indikation, ob das Ziel erreicht wurde? oder ganz extern: nur die Zielerreichung als Farbindikation?

Vision einer einfachen Tabelle

Erster Vorschlag für die „No Numbers“ Challenge

Inspiriert durch die „No Numbers“ Challenge und weiteren Blogs machte ich mich auf die Suche nach einer Lösung, in der ich dem Business in möglichst einfacher Weise darstellen kann, wie die Entwicklung von bestimmten KPI verläuft. Nach etlichen (Fehl-)Versuchen hatte ich dann schliesslich die Lösung, wie sich verschiedene Metriken in einer Tabelle darstellen lassen. Das Ergebnis wie folgt aus und ist meine Antwort auf die Challenge:

Einfache KPI Tabelle mit Farbe für Zielerreichung

Sieht das nicht einfach aus? in den einzelnen Zeilen sind die verschiedenen KPI aufgeführt, die Farbe zeigt die Zielerreichung an. So sieht der Empfänger auf einen Blick, welche Metriken in Ordnung sind (grün) und wo weitere Analysen getätigt werden müssen (rot). Und die gesamte Tabelle ohne Zahlen – wie von der „No Number“ Challenge gefordert.

Lösung: Erstellung der KPI Tabelle

Die Erstellung dieser KPI-Tabelle mit Farbcode ist denkbar einfach: Es braucht hier lediglich eine beliebige „Date Range“. Wichtig ist lediglich, dass dieser Zeitbereich ausreichend gross ist, um alle Berechnungen in den einzelnen Metriken vorzunehmen. Denn die gewählte „Date Range“ schränkt die Daten in der gesamten Tabelle ein und somit sind Berechnungen nur innerhalb möglich.

Die einzelnen „Calculated Metrics“ rechnen anschliessend nur noch, ob das entsprechende Ziel erreicht wurde. Idealerweise hat die Berechnung einen Rückgabewert, welcher sich zwischen -1 und 1 bewegt. So kann die Spalte anschliessende mit einer bedingten Formatierung einfach gestaltet werden. Eine einzelne Metrik als „Calculated Metric“ in Adobe Analytics könnte etwa so aussehen:

Definition einfache Metrik (mit Segmenten)

Diese einfache KPI berechnet lediglich die prozentuale Veränderung des „Revenue“ multipliziert mit 100 für die Skalierung (resp. spätere bedingte Formatierung. In ähnlicher Weise können so weitere Metriken definiert und der Tabelle hinzugefügt werden.

Ohne Zahlen?

Ich gebe zu, ganz ohne Zahlen wird es sehr schwierig. Gerade bei einem Thema wie „Revenue“ kann ich mir nur schwer vorstellen, dass der Empfänger auf die effektiven Zahlen verzichten will. Aber denkbar ist es, dass unter der effektiven Zahl des Ertrags eine einfache Tabelle erstellt wird. Darin enthalten sind verschiedene Einfluss-Faktoren, welche nach Ermessen des Business oder des Analysten einen wichtige Rolle spielen.

In der Praxis kommt ein weiteres Problem dazu: meist fehlen effektive Ziele und/oder das Interesse liegt in erster Linie in einer Veränderung über die Zeit. Das heisst, sämtliche Bemühungen im Marketing und in der Web-Konzeption sind darauf ausgerichtet, dass sich z.B. die Besucherzahlen stetig steigern. Dies ganz unter der Annahme, dass damit auch der (eventuell nicht online messbare) Ertrag in der gleichen Richtung Entwickelt.

Aufgrund dieser Voraussetzung habe ich einen weiteren Versuch unternommen. Wenn ich es mit einer „Date Range“ und „Calculated Metrics“ schaffe, meine gewünschten Zahlen anzuzeigen, kann ich dann auch eine ganze Tabelle, das heisst mehrere Spalten, auf diese Weise erstellen? So könnte ich nicht nur die effektive Zahl, sondern auch eine Veränderung und/oder Zielerreichung darstellen. Nach etlichen Versuchen hatte ich die folgende Tabelle tatsächlich hinbekommen:

Tabelle mit individuellen KPI über mehrere Spalten

In der Tabelle sind in den Zeilen die verschiedensten Metriken aufgeführt, von einfachen Zählern („Page Views“ und „Visits“) über Verhältnisse („Visits: % Mobile“) bis zu Zeit-Berechnungen („Visits: Average Time (sec)“). Und für jede Metrik wird sowohl der Wert der gewünschten Zeitperiode als auch mit Farbe die Veränderung zu anderen Zeitperioden dargestellt. Wie ist das möglich? Alles in der Bildbearbeitung manipuliert?

„Fake Date Ranges“

Die Lösung liegt in einer Kombination von „Date Ranges“ (Spalten) und „Calculated Metrics“ (Zeilen). Betrachtet man eine einzelne Zeile, dann werden im abgebildeten Beispiel nichts anderes als drei verschiedene Werte ausgegeben: Eine Zahl (oder Zeit, %-Wert) sowie zwei Zahlen, welche eine Beurteilung über die Veränderung der gewünschten Zeitperioden erlauben. Diese Ausgabe von unterschiedlichen Werten lässt sich über „Calculated Metrics“ relativ einfach erreichen, indem man eine verschachtelte „if … then“-Funktion verwendet, ganz nach dem Motto: „In Feld 1 bitte Wert 1, in Feld 2 bitte…“.

Diese Differenzierung der Spalten lässt sich mit „Date Ranges“ erreichen (was anhand der Farbe der Spalten-Titel für Insider einfach erkennbar ist). Dazu werden drei verschiedene Zeiträume (A, B und C) gewählt, wobei die Beschriftung der gewünschten Spalten-Überschrift entspricht. Hinweis: es empfiehlt sich, hinter dem Text der „Date Range“ noch ein Hinweis zu platzieren, welcher in einer schmalen Tabelle nicht sichtbar ist – denn die „Date Ranges“ sind wie alle anderen z.B. als Zeitraum für Berichte wählbar (und wer will schon ein „Date Range“ der „Target“ heisst)

Tabelle mit Fake Date Ranges

Diese frei definierten Zeiträume müssen jeweils folgende Bedingungen erfüllen:

  1. Der Zeitraum muss die Daten beinhalten, welche für die Berechnung der Metriken nötig sind (d.h. wenn ich jeweils die Daten des letzten Monats ausgeben will, muss der Zeitraum dieser Spalte mindestens den letzten Monat beinhalten
  2. In diesem Zeitraum (und für den gewählten Report-Bereich) muss es mindestens einen Page View gegeben haben (Begründung weiter unten)
  3. Die Zeiträume der Spalten dürfen nicht identisch sein (Begründung weiter unten)

Calculated Metrics können (fast) alles

Aber wie genau soll das funktionieren? Der Trick ist, dass die Spalte nur Daten aus einer bestimmten Zeitperiode beinhaltet und die „Calculated Metric“ in den If-Bedingungen prüft, ob Daten für eine bestimmte Zeit existieren (deshalb obenstehende Bedingung 2), beginnend mit derjenigen Zeitperiode, welche nur durch eine Spalte („Date Ranges“) erfüllt werden kann (deshalb Bedingung 3). Alles klar? Ich vermute, dass diese Beschreibung alleine nicht intuitiv verständlich ist, somit eine einfache Darstellung, welche bei der Erklärung helfen sollte:

Für die Lösung wurden drei „Date Ranges“ definiert, welche die Zeiträume „A – Last Month“, „B – Last 2 Month“ und „C – Last 6 Month“ beinhalten. Für die Prüfung innerhalb der „Calculated Metric“ wurden die „Page Views“ an den Punkten „1“ bis „3“ verwendet, indem man einfach verifiziert, ob an einem bestimmten Datenpunkt auch Werte vorhanden sind. Dies wird sicher noch verständlicher, wenn man eine einzelne „Calculated Metric“ in der groben Logik betrachtet:

Die Formel zeigt, dass zuerst an Punkt (1) geprüft wird, ob Daten vorhanden sind. Dabei muss Punkt (1) so gewählt werden, dass er nur in einer Spalte liegen kann. Falls dies der Fall ist, soll der Wert für die Spalte mit der Zeitperiode (C) ausgegeben werden. ansonsten folgt die Prüfung nach Punkt (2). Falls hier nun Daten vorhanden sind, soll der Wert für die Spalten mit der Zeitperiode (B) ausgegeben werden. Zuletzt (und als Default) erfolgt die Ausgabe der Werte für Zeitperiode (A).

„Fake Date Ranges“ kombiniert mit neuen „Calculated Metrics“

Füge ich nun die falschen „Date Ranges“ und die neu konstruierten „Calculated Metrics“ in eine Tabelle zusammen, so habe ich das gewünschte Ergebnis. Betrachtet man die Tabelle ohne Formatierung ist auch ersichtlich, dass in den einzelnen Spalten pro Metric die verschiedenen Daten rauskommen, aber immer mit der gleichen Formatierung der „Calculated Metric“:

Neue Tabelle mit Zahlen/ohne Formatierung

Was jetzt noch fehlt bis zum Ziel ist ein wenig „Farbe“, damit die guten und schlechten Zahlen schneller lesbar sind. In einem konkreten Beispiel aus der Praxis sieht das finale Ergebnis wie folgt aus:

Praxis-Beispiel mit drei Tabellen dieser neuen Metriken

Selbstverständlich könnte man in allen Tabellen mit der gleichen Logik ein „Target“ hinzufügen, so wie es am Anfang dieses Blogs geschildert wurde. Dazu braucht es lediglich eine weitre „Date Range“ und eine weitere If-Schlaufe in allen Metriken.

Ein „Extra“ gratis dazu

Und eine Besonderheit sie an dieser Stelle noch erwähnt: ein Break-Down nach verschiedenen Dimensionen (z.B. Break-Down der Orders nach dem Produktnamen) ist auch bei diesen Metriken möglich! Auch die Zahlen werden korrekt für alle Spalten berechnet, nur die bedingte Formatierung funktioniert (noch) nicht. Hier ein Beispiel für ein Break-Down der Mobile Visits nach Device Types:

Break-Down Mobile Devices

 

Zu Risiken und Nebenwirkungen …

Bei aller Freude über diese Darstellung gibt es doch auch Einschränkungen:

  1. Die Summen pro Spalten machen keinen Sinn und lassen sich nicht ausblenden. Aber mit einer entsprechenden Erläuterung beim Empfänger des Berichts stellt dies kein grösseres Problem dar.
  2. Die Daten werden nur korrekt angezeigt, wenn für alle Prüfpunkte (1 bis 3) auch Daten vorhanden sind. Die hier vorgestellte Tabelle würde bei einer Webseite (oder Segment einer Webseite), welche erst seit letztem Monat Daten hat, in allen drei Feldern die gleiche Zahl anzeigen. Somit funktioniert die Tabelle erst, wenn Daten für mind. 3 Monate vorhanden sind.
  3. Pro Tabelle ist man auf die definierten Zeiträume fixiert. Es lassen sich in der gleichen Tabelle nicht Berechnungen über unterschiedliche Zeiträume machen, ausser man definiert die Zeiträume genug gross.
  4. Die Zeitraum eines Workspace (wie er oben rechts gewählt wird) hat keinen Einfluss auf die Metriken. Es ist eine Besonderheit des Adobe Analytics Workspace, dass bei der Verwendung einer Date Range in einer Tabelle der effektive Berichtszeitraum verändert wird. Damit folgt aber auch, dass rückwirkende Berichte nicht erstellt werden können.
  5. Aus der Erfahrung empfiehlt sich eine klare Namensgebung, sauberes Tagging und Beschreibung aller Komponenten, um eine Verwirrung bei der Verwendung zu verhindern. Wer auf Nummer sicher gehen will verwendet ab besten einen separaten User ohne Sharing der Komponenten.

 

Ob ich mit diesen Ideen die Challenge gewinne weiss ich nicht – aber ich hoffe auf spannende Diskussionen und weitere Anregungen für spannende Visualisierungen!

Kommentar verfassen