Vor über 2 Jahren hatte ich einen Rant gepostet zu einem Thema, das auch heute noch eine Rolle spielt, wenn auch in meinem Job mittlerweile zum Glück etwas weniger präsent ist: Wenn die Zahlen zwischen Google Analytics und einem anderen Tool abweichen, dann hat tendenziell Google Analytics immer recht. So sehen das praktisch alle Anwender.
Ich hatte damals in erster Linie Dampf abgelassen und über die Gründe spekuliert, heute möchte ich nochmal mein dumpfes Gefühl von damals — dass das tatsächlich ein Problem ist — ein wenig ausführen.
Kosten/Nutzen
Das hat einerseits mit Kosten und Nutzen zu tun.
Wenn man zwei Tools A und B hat, die grundsätzlich nicht ganz gleich aufgebaut sind und daher auch nicht genau gleich arbeiten, dann kann man probieren, Tool B so zu konfigurieren, dass es die Ergebnisse von Tool A möglichst exakt abbildet.
Da Tool B aber eben anders funktioniert, wird das zunehmend aufwendiger, je näher man an Tool A herankommt.
Mit anderen Worten: Die zwei Tools ungefähr gleich zu konfigurieren sollte nicht zu schwierig sein, aber je mehr man Tool B an Tool A anpasst, desto mehr Aufwand hat man.
Ich frage mich da sofort, welchen Nutzen man hat, der die Kosten rechtfertigt.
Man kann einen Punkt definieren („nicht mehr als 5% Abweichung“ oder „Report X muss identisch sein“) und bis dahin konfigurieren — dabei können prinzipiell hohe Kosten entstehen.
Man könnte auch ein Budget festlegen und innerhalb dieses dann konfigurieren, so nah man kommt.
Ich persönlich würde weder das eine noch das andere tun. Dazu später mehr.
Modelle und Erwartungen
Gravierender finde ich aber, dass die Problematik eigentlich etwas ganz anderes illustriert: Nutzer von Analytics Tools haben manchmal keine Vorstellung davon, was Daten eigentlich sollen (Siehe Agile? Not yet). Oder ihre Erwartungen sind vom einfachsten Tool auf dem Markt geprägt (heute vielleicht Google Analytics), was so eine Art „Woher soll ich wissen, was ich nicht weiss?“ Problem ist.
Wenn mir also jemand sagt, sein Boss könne die Abweichung zwischen Adobe Analytics und Google Analytics nicht hinnehmen, dann weiss ich, dass der Boss eigentlich keine Vorstellung davon hat, was er mit den Daten macht oder daraus ablesen darf.
Au.
Wer das nicht glaubt: Ich hatte im letzten Artikel schon darüber geschimpft, dass selbst ein gut gemachter Test viele Benutzer nicht überzeugt, solange Google Analytics etwas anderes sagt.
Wer einen vorher durchdachten Test inklusive erwartetem Ergebnis vom Tisch wischt, weil GA etwas anderes behauptet, der zeigt zeigt in erster Linie, dass er nicht versteht, was da passiert ist. (Oder er ist politisch motiviert, d.h. die Zahlen in Ga passen ihm besser.)
Was tun?
Gegen Problem 1 soll man sich nicht sträuben. Einmal anmerken, dass das Geldverschwendung ist, und dann den Gegenüber selber entscheiden lassen.
Denn die Antwort auf die Frage „Wieviel Geld ist das Wert?“ ist einfach: Null.
Ah?
Ja. Null.
Einen Report soll man nicht daran messen, wie gut er einen anderen abbildet, sondern daran, was man hinterher mit den Zahlen machen kann. Und dafür ist es mit Verlaub vollkommen egal, ob zwei Tools das gleiche anzeigen oder nicht.
Wichtig ist, was hinten rauskommt. Und „hinten“ ist hier nicht der Report. Niemand kauft ein Analyticstool, damit er jede Woche einen Stapel Papier drucken und abheften kann. (Hoffe ich!)
„Hinten“ hat mit gewonnen Einsichten zu tun, gewonnenem Wissen und gemessener Performance.
Und was ist mit „Wir wissen, das wir es nicht ganz korrekt messen, aber wir wollen historische Daten vergleichen können“? Na wenn die historischen Daten in GA sind, dann lasst das halt weiter mitlaufen und vergleicht da, oder? Kostet ja nichts. Aufwand betreiben, um ein neues Tool falsch zu konfigurieren, nur weil das alte falsch aufgesetzt war? Kann ich nicht nachvollziehen.
Problem 2 ist schwieriger. Es ist mal wieder eines dieser Probleme, bei denen die Technik für etwas Verantwortlich gemacht wird, eigentlich aber gar nicht das Problem ist.
Die ideale Lösung nee, die zwei Sichtweisen der idealen Lösung: Aus der Technikerperspektive wünsche ich mir, dass der Benutzer versteht, was da vorgeht (und mich dann damit in Ruhe lässt). Aus Benutzersicht will ich einfach nur Zahlen haben, ohne mir Gedanken machen zu müssen.
Die zwei impliziten Annahmen: Techniker geht davon aus, dass Benutzer mit dem Status Quo leben kann, wenn er ihn nur versteht (was nicht der Fall sein muss). Umgekehrt erwartet Benutzer, dass Techniker das sicher lösen kann (was teuer werden kann).
Wie kommt man da zusammen?
Ich bin ja nachwievor Fan von kontrollierten Tests. Das hat drei Gründe:
- Test, also überprüfbare Theorien sind überprüfbar. Das bedeutet man weiss wirklich genau, wo man steht.
- Überhaupt einen Test zu definieren zwingt die Beteiligten, den Sollwert zu definieren. Das hilft ganz enorm bei Problem Nummer 2! Übrigens: Wer hier als Berater nicht die Gelegenheit wahrnimmt, bis in’s kleinste Detail die Situation und den Sollwert zu definieren, ist später selbst Schuld.
- Der gleiche Test kann zu einem späteren Zeitpunkt als Regressionstest eingesetzt werden. Damit kann man überprüfen, ob alles immer noch ok ist. TDD FTW!
Wenn man mit jemandem spricht, der grundsätzlich offen ist für diese Vorgehensweise und dann auch hinterher die Ergebnisse akzeptiert, dann ist dies die beste Möglichkeit!
Funktioniert natürlich nur für Gesprächspartner, mit denen wir direkt sprechen. Der erweiterte Kreis ist schwieriger zu erreichen und sollte damit gewertet werden wie jemand, der einen Test nicht akzeptiert.
Was macht man mit solchen Leuten?
Gute Frage. Schlagworte: „Geduld“, „Engelszungen“, „erklären“, „nochmal“, „*seufz*“.
Die Briten nennen das „enablement“. Es ist unbefriedigend und kostet Zeit und Ressourcen. Als Analyst könnte man sich bequem darauf zurückziehen, dass ja die Politikerin genau diese Rolle übernehmen soll, und das stimmt auch. Ich würde trotzdem jedem von uns empfehlen, diesen Teil der Jobdescription ernst zu nehmen.
Je mehr von uns das können, desto wichtiger wird unser Job. Oder?
Liebe Leser, hier kommt eine Hausaufgabe: Nehmt Euch Eure Daten und sucht etwas, was signifikant verbessert werden könnte. Findet die verantwortliche Person und überzeugt sie mithilfe der Daten. Postet Eure Erfahrungen in den Kommentaren, oder (besser!) bloggt darüber.
Ich kann garantieren, dass Ihr etwas lernen werdet.