A/B-Testing: Finden Sie die Optimierungshebel

"Wo sollen wir anfangen?" Eine der grössten Herausforderungen für die meisten Website- und Shop-Betreiber ist das ­Erkennen der relevanten Schwachstellen für die Optimierung. Es landen ohnehin schon Dutzende oder gar Hunderte ­kleinerer und grösserer Ideen in der Schublade oder in Backlogs, und die Mitarbeiter haben auch ohne "Optimierungsprogramm" schon genug zu tun.

Das oben genannte Beispiel der "Value Propositions" soll jedoch eines verdeutlichen: Manche Dinge sind für die meisten Unternehmen tatsächlich "nicht sichtbar", das heisst, das Fehlen eines bestimmten Aspekts wird weder in Web-Analytics-Daten noch in Usability-Lab-Ergebnissen wirklich abgebildet.

Es braucht einen umfassenderen Blick auf ein Angebot, um auch solche effektive Optimierungshebel zu erkennen. Wie entsteht dieser Blick? Ganz einfach: Wir müssen den Blickwinkel ändern, um Neues zu erkennen. Dies gelingt zum Beispiel durch die Entwicklung sogenannter Personas und einer anschliessenden Customer-Journey-Analyse.

Personas sind im Gegensatz zu demografischen Zielgruppendefinitionen extrem zugespitzt formulierte Kundentypen mit Bild und Namen. Ist die durchschnittliche Zielgruppe zwischen 35 und 55 Jahren alt und zu 65 Prozent weiblich, so heisst die Persona "Melanie", ist 39 Jahre alt und zeichnet sich durch eine eher harmoniebedürftige Persönlichkeit aus.

Für den einen oder anderen "datengetriebenen E-Commercler" wirkt der Einsatz von Personas zunächst wie eine "esoterisch" anmutende Methode. Schliesslich fehlen meist die ­Daten, um derlei Aussagen zu validieren.

Die fehlenden Daten sollen uns an dieser Stelle jedoch nicht stören - schliesslich werden die aus der Persona-Entwicklung entstandenen Hypothesen später sauber über A/B-Testing validiert. Mithilfe der richtigen Kombination aus qualitativen und quantitativen Methoden lassen sich die ­relevanten Schwachstellen finden und die Wirksamkeit der Optimierung überprüfen. Dabei liegt erfahrungsgemäss der Schwerpunkt auf dem Prozess der Persona-Entwicklung, diese wird hierfür ganz aus dem Blickwinkel des Website-Nutzers gesehen.

Als Ergänzung zur Entwicklung von Personas ist daher eine Customer-Journey-Analyse sinnvoll. Auch wenn Konsumentenverhalten gerne als Funnel (Trichter) verstanden wird - so linear laufen Nutzerentscheidungen in der Realität nicht ab. In der Customer-Journey-Ana­lyse werden passend zu den Personas typische "Reiseverläufe" definiert. Dies schliesst Online- wie Offline-Wege mit ein.

Melanie wird zum Beispiel auf der Suche nach einem schwarzen Oberteil nicht nur in Google suchen und auf Facebook klicken. Sie wird mit Freundinnen sprechen, sich von Arbeitskollegen beeinflussen lassen, auf dem Smartphone nach Preisvergleichen schauen und später auf dem Sofa gemeinsam mit ihrem Mann per iPad kaufen.

Für einen umfassenden Blick reichen Personas und Customer-Journey-Analyse nicht aus. Wenn es darum geht, bisher nicht bekannte Stellschrauben zu finden, stellen sie jedoch erfahrungsgemäss ein grosses Potenzial dar. Es ergibt durchaus Sinn, zusätzlich in Web-Analytics-Daten nach Belegen für die gefundenen Hypothesen zu schauen.

Auch Expertenevaluationen auf Basis sogenannter Conversion-Frameworks, wie dem Lift-Modell von Wider Funnel oder dem 7-Ebenen-Modell von Konversionskraft, liefern einen vollständigen und objektiven Blick auf ­eine Website, da mit ihnen auch die eingangs erwähnten aus der Konsumpsychologie bekannten Stellschrauben abgedeckt werden.

Wer das eigene Angebot mit unterschiedlichen Methoden testet, wird einen umfassenden und unverstellten Blick auf die Optimierungsmöglichkeiten erhalten. Das Resultat ist eine möglichst umfangreiche Sammlung von Optimierungsideen. Da die Wirksamkeit der Ideen noch nicht überprüft wurde, sprechen Optimierer von "Hypothesen", die in einem Backlog gesammelt werden.

Als letzte Aufgabe einer guten Planung und Analyse steht die Priorisierung der Hypothesen an. Da es aufgrund von Ressourcen- und Traffic-Begrenzungen nur eine bestimmte Anzahl von Optimierungsrunden gibt, muss sichergestellt werden, dass nur wirklich gute, also "wirksame" Hypothesen in die Optimierungen einfliessen.

Doch wie lassen sich die Hypothesen bewerten, wenn sie noch nicht getestet wurden? Ganz einfach: Es müssen die richtigen Fragen gestellt werden. Dabei müssen wir bedenken, dass es beim A/B-Testing nicht um die Änderungen an der Website geht - die Resultate des A/B-Testing zeigen, welche Veränderung des Nutzerverhaltens diese bewirken.

Wer also herausfinden möchte, was eine wirklich gute Hypothese ist, der muss schauen, welche Auswirkungen eine Veränderung auf das Nutzerverhalten hat. Ein gutes A/B-Testing hat aufgrund von Daten ­einen "Uplift" geliefert, aus psychologischer Sicht hat sich jedoch das Nutzerverhalten verändert - es haben schliesslich mehr Menschen gekauft.

Damit sich ein Nutzerverhalten ändert, muss die Veränderung bei den Nutzern auch wahrgenommen werden. Die Veränderung muss also relevant und sichtbar sein. Eine Verhaltensänderung kommt zustande, wenn die Veränderung innerhalb der Customer-Journey für den Nutzer  in irgendeiner Form eine Rolle spielt. Die Veränderung muss also zu den Motiven und Bedenken der Nutzer passen.

Hier werden die zuvor entwickelten Personas und Customer-Journey-Maps wieder hilfreich. Zu guter Letzt sollte die Veränderung auch auf Seiten stattfinden, die von den Nutzern auch wirklich besucht werden. Ein wirksames A/B-Testing findet im Idealfall auf einer Produktdetailseite statt und nicht etwa auf dem Impressum.

Die Wirksamkeit einer Hypothese muss also im Vorfeld betrachtet und ein Testkonzept so entwickelt werden, dass es eine signifikante Veränderung im Nutzerverhalten verursacht. Dem gegenüber steht der Aufwand, der nötig ist, um entsprechendes A/B-Testing zu entwickeln.

Im zweiten Teil geht es darum, wie aus einer zuvor erarbeiteten Hypothese möglichst wirksames A/B-Testing entwickelt wird und wie sich Stolperfallen bei der statistischen Auswertung der Testergebnisse vermeiden lassen.