So führen Sie A/B-Tests in 7 Schritten durch (mit Beispielen)
Ob Sie nun ein Produkt- oder Marketingprofi sind oder gemeinsam mit diesen Teams im Bereich Kundenerfahrung arbeiten – höchstwahrscheinlich sind Sie in wichtige Prozesse zur Verbesserung der Produkte und der Unternehmensleistung eingebunden und nutzen die Perspektiven der Nutzer dafür. Eines der mächtigsten Werkzeuge in Ihrem Repertoire ist zweifellos das A/B-Testing.
Warum? Weil es Rätselraten bei Fragen wie Welche dieser Feature-Versionen unterstützt unsere wichtigsten KPIs am besten? überflüssig macht. Wer würde schon die Chance verpassen wollen, ganz genau zu wissen, welche Version einer Produktiteration die entscheidenden Kennzahlen wie Conversion Rate oder einen anderen Engagement-Wert am besten fördert?
Antwort: so gut wie niemand.
Unlock the CX Vault
Sign up for free to access all CX Lead articles, exclusive events, premium resources, our expert newsletter, and more!
Already a member? Log In
Als User-Research-Leitung arbeite ich mit mehreren Teams zusammen, die A/B-Tests durchführen, um zu verstehen, was jeder Test uns über die Nutzer lehrt und wie er uns dabei hilft, in Zukunft bessere Produktiterationen zu entwickeln. Tauchen wir ein: Was ist A/B-Testing, wann und warum sollte man es nutzen, wie führt man es durch und wie kann man es einsetzen, um internes Wissen über die eigene Nutzerbasis aufzubauen.
Was ist A/B-Testing: Definition und Beispiel
Einfach gesagt ist A/B-Testing, auch Split-Testing genannt, eine Methode, bei der zwei Versionen von etwas verglichen werden, um herauszufinden, welche gemäß den wichtigsten Kennzahlen besser abschneidet. In der Produktentwicklung wird es häufig genutzt, um verschiedene Varianten eines Produkts oder Features und deren jeweilige Auswirkungen auf die KPIs zu testen.
Bei einem A/B-Test erstellen Sie zwei Versionen eines Elements (zum Beispiel ein Feature) und weisen verschiedenen Nutzergruppen zufällig je eine Version zu. Durch die Auswertung der Testergebnisse können Sie bestimmen, welche Version effektiver ist, und diese Informationen nutzen, um datenbasierte Entscheidungen für Ihr Produkt zu treffen.
Ein Beispiel:
Angenommen, Ihr Unternehmen bietet eine mobile App an, mit der Nutzer große Events planen können. Ihr Team hat ein Feature, das es ermöglicht, die Handy-Kontakte zu importieren und Einladungen direkt per SMS zu verschicken. Intern gibt es im Produkt- und Customer-Experience-Team unterschiedliche Meinungen darüber, wann man den Nutzer zum Import der Kontakte auffordern sollte – vor oder nach der Anpassung der SMS-Einladung? Die Haupt-KPI dieses Features ist der prozentuale Anteil der Nutzer, die den Einladungsprozess starten und schließlich tatsächlich ihre SMS-Einladungen verschicken.
In einem A/B-Test entwickelt Ihr Team die beiden verschiedenen Versionen. Die einzige Variable, also der einzige Unterschied zwischen den beiden Versionen, ist der Zeitpunkt, zu dem der CTA (Call-to-Action) zum Importieren der Handy-Kontakte erscheint. Ihr Team ordnet den Nutzern zufällig zwei Gruppen zu, sodass jede eine Version des Features erhält. Sobald ausreichend Daten vorliegen – im Idealfall mit statistisch signifikanten Ergebnissen – analysieren Sie: Welche Gruppe hatte am Ende einen höheren Prozentsatz an Nutzern, die den Ablauf durchlaufen und ihre SMS-Einladungen abgeschickt haben? Das ist die Gewinner-Version, die dann für alle Nutzer aktiviert wird.
Warum A/B-Testing durchführen?
Es stimmt definitiv, dass A/B-Testing viele Ressourcen beansprucht – Design, Entwicklung, Datenanalyse und so weiter. Wenn Sie sich jedoch die Werte und Ziele der meisten Unternehmen ansehen, werden Sie feststellen, dass diese oft sehr im Einklang mit den Vorteilen von A/B-Testing stehen. Schauen wir uns einige dieser Ziele und Werte an, um Argumente für ein A/B-Testing-Projekt zu liefern.
Datengetriebene Entscheidungsfindung
A/B-Testing ermöglicht es Ihnen, datenbasierte Entscheidungen für Ihr Produkt zu treffen, anstatt sich auf Intuition oder Vermutungen zu verlassen. Durch das Testen verschiedener Varianten eines Features können Sie feststellen, welche Version effektiver ist, und Entscheidungen auf Grundlage harter Fakten treffen. Mir ist bisher noch niemand in einem Produktteam begegnet, der nicht anstrebt, datengetrieben zu arbeiten. A/B-Testing ist ein zentrales Werkzeug für jedes datenorientierte Produktteam.
Verbesserte Nutzererfahrung
Durch Tests verschiedener Versionen eines Produkts oder Features können Sie Wege finden, die Nutzererfahrung zu verbessern. Das kann bedeuten, einen Button in Ihrer App auffälliger zu machen, die Farbe eines CTAs zu ändern oder einen Checkout-Prozess in einem Online-Shop zu optimieren. A/B-Testergebnisse zeigen Ihnen, welche Abläufe, Features und Variablen für Ihre Nutzer am besten funktionieren – basierend auf Ihren gewählten Kennzahlen. Lassen wir A/B-Testing ausfallen, kommt es häufig vor, dass wir falsch raten und noch mehr Ressourcen aufwenden müssen, um den Fehler zu beheben – was auch den Zeitrahmen für die Feature-Optimierung in Richtung Nutzerzufriedenheit verlängert.
Potenzielle Umsatzsteigerungen
Bei einem A/B-Test bestimmen Sie im Vorfeld das/die ausschlaggebende(n) Kriterium/Kriterien, anhand derer die Gewinner-Version festgelegt wird, sobald die Testergebnisse vorliegen. Das bedeutet: Wenn Umsatz eines Ihrer wichtigsten Ziele ist, können Sie tatsächlich ganz konkret ermitteln, welche Version eines Produkts oder Features den höchsten Umsatz erzielt.
Wissen über Nutzer im Laufe der Zeit aufbauen
Wir werden später noch mehr darüber sprechen, aber ein weiterer entscheidender Vorteil der Integration von A/B-Tests in euren Produkt-Workflow ist, dass ihr im Laufe der Zeit Wissen über eure Nutzer aufbaut. Es ist nicht nur so, dass jeder A/B-Test euch dabei hilft, Entscheidungen im Moment zu treffen, sondern ihr lernt auch, wie eure Nutzer mit eurem Produkt interagieren, und dieses Wissen kann eure zukünftige Produktarbeit unterstützen.
Der A/B-Test-Prozess in 7 einfachen Schritten
Hier sind wir – jetzt kommt der spannende Teil! Du bist bereits überzeugt, dass das A/B-Testen der Platzierung deines Call-to-Action oder die beste Ausführung einer spannenden neuen Funktion sinnvoll ist. Aber wie gehst du dabei vor?
Schritt 1: Definiere dein Ziel
Bevor du mit einem A/B-Test beginnst, ist es wichtig, dein Ziel zu definieren. Was möchtest du mit dem Test erreichen? Das Entscheidende ist hierbei, dass dein Ziel ein Messwert sein muss. Mit anderen Worten: Du musst in Zahlen wissen können, wie jede Variante im Vergleich zur anderen abschneidet.
Zum Beispiel:
Eine einfachere Nutzererfahrung schaffen ist ein gutes Ziel, das man im Hinterkopf haben kann, aber es zählt nicht als Ziel eines A/B-Tests. Nehmen wir an, du hast einen Online-Shop. Ein gutes Ziel für einen A/B-Test wäre zum Beispiel: Erhöhe den % der Nutzer, die den Checkout-Prozess abschließen und einen Kauf tätigen oder einfach die bezahlte Conversion-Rate. Das lässt sich als Zahl messen und entspricht vermutlich einem Geschäfts-KPI.
Oder nehmen wir an, du nutzt A/B-Tests, um ein bestimmtes Element deiner Marketingstrategie besser zu optimieren. Du veröffentlichst zwei Versionen einer Landingpage, jeweils mit Kampagnenbotschaften, aber mit unterschiedlicher Button-Farbe für den Haupt-CTA. Dein Ziel für den A/B-Test könnte dann die Klickrate (CTR) auf den Button sein.
Schritt 2: Identifiziere die zu testende Variable
Sobald du dein Ziel definiert hast, folgt der nächste Schritt: die Variable festzulegen, die du testen möchtest. Eine Variable ist der Unterschied zwischen den beiden Versionen deines A/B-Tests, und ich werde mal etwas Krasses über die Variable sagen:
Wenn du mehr als eine Variable hast, sind die Erkenntnisse aus deinem A/B-Test in ihrer Aussagekraft eingeschränkt.
Wenn deine beiden Versionen mehr als einen Unterschied aufweisen, kannst du zwar immer noch erkennen, welche Variante anhand deines wichtigsten Messwerts gewonnen hat, aber du weißt nicht, warum – und das kann problematisch werden. Kehren wir zu unserem Landingpage-Beispiel zurück. Jede Seite hat einen CTA mit unterschiedlicher Button-Farbe und nehmen wir an, dass der Marketing-Text zwischen den Versionen unterschiedlich ist. Du könntest sehen, dass Version B die KPIs positiver beeinflusst, aber du weißt nicht, ob es an der Button-Farbe, dem anderen Text oder einer Kombination aus beidem lag.
Das ist vor allem deshalb wichtig, weil: Was, wenn du in Zukunft weitere Iterationen vornehmen willst– entweder bei den UI-Farben oder beim Marketing-Text? Du weißt nicht, was essenziell ist und was nicht, oder wie du deinen nächsten A/B-Test gezielt planen solltest. Deshalb gilt die Regel: Ein A/B-Test, eine Variable.
Es gibt allerdings auch sogenannte multivariate Tests, bei denen – wie der Name vermuten lässt – mehrere Variablen gleichzeitig getestet werden. Die Regeln und Schritte für die Durchführung von Multivarianten-Tests sind anders und werden in diesem Leitfaden nicht behandelt, aber wir empfehlen diese Seite als Einstieg.
Schritt 3: Erstellen Sie Ihre Varianten
Sie haben nun Ihre Ziele definiert und festgelegt, welche eine Variable zwischen Ihren beiden Versionen unterschiedlich sein wird. Nun ist der Zeitpunkt gekommen, an dem Ihre Designer und Entwickler beide Versionen erstellen.
Wenn Sie Ihren A/B-Test planen und anderen Stakeholdern mitteilen, wann sie Ergebnisse erwarten k f6nnen, sprechen Sie unbedingt mit dem Design- und Entwicklungsteam fcber deren Zeitplanung: Wie lange dauern die Erstellung der beiden ben f6tigten Versionen?
Schritt 4: Richten Sie Ihren Test ein
Eine korrekte Einrichtung Ihres Tests ist ein entscheidender Schritt. Hier ist eine schnelle Checkliste mit Dingen, auf die Sie achten sollten und die f fcr Ihr Unternehmen oder Ihre Organisation relevant sein k f6nnten.
- Haben Sie beide Versionen Ihrer Webseite/Ihrer App/Ihres Features daraufhin fcberpr fcft, ob sie reibungslos funktionieren?
- Wei df Ihr Daten- oder Produktteam, dass dieser A/B-Test stattfinden wird, und haben sie Zeit eingeplant, um die Daten w e4hrend des Tests zu analysieren?
- Haben Sie ein Dashboard, auf dem wichtige KPIs und Nutzermetriken w e4hrend des A/B-Tests fcberwacht werden k f6nnen? Dies ist auch wichtig, um sicherzustellen, dass nicht eine der Versionen eine wichtige Kennzahl drastisch negativ beeinflusst. In diesem Fall m f6chten Sie den Test vielleicht stoppen und die Ursache untersuchen.
Was die Durchf fchrung Ihres Tests betrifft, so hat Ihr Datenteam vielleicht bereits eine interne M f6glichkeit daf fcr. Falls nicht, gibt es eine gro dfe Auswahl an A/B-Testing-Tools – vom Basismodul von Google Analytics bis hin zu komplexeren Plattformen wie SaaS A/B-Testing-Tools. Sprechen Sie intern mit Ihrem Team dar fcber, welche L f6sung Ihre Bed fcrfnisse am besten abdeckt.
Schritt 5: Sammeln und analysieren Sie Ihre Daten
Sprechen Sie mit Ihrem internen Datenteam dar fcber, wann Sie die statistische Signifikanz erreicht haben – das hei dft, dass genug Nutzer einer Ihrer A/B-Test-Versionen ausgesetzt waren, so dass Sie zuverl e4ssige Schlussfolgerungen aus der aktuellen Stichprobengr f6 dfe ziehen k f6nnen. Sie wollen vermeiden, die Entscheidung zu fr fch zu treffen, wenn die Nutzergruppen zu klein sind, um aussagekr e4ftige Ergebnisse zu liefern.
Sobald das gegeben ist, schauen Sie sich gemeinsam mit dem Team die Testergebnisse an. Sie haben im Vorfeld schon Ihre wichtigsten Kennzahl(en) festgelegt, anhand derer Sie die gewinnende Variante festlegen, so dass die Bestimmung jetzt relativ schnell und unkompliziert erfolgen sollte.
Schritt 6: Implementieren Sie die Gewinner-Variante
Nachdem Sie Ihre Daten analysiert haben, ist es an der Zeit, die Gewinner-Variante Ihres A/B-Tests umzusetzen. Es ist wichtig, dass alle Stakeholder fcber das Ergebnis des A/B-Tests und die Entscheidungsgrundlage Bescheid wissen. Gibt es beispielsweise einen Slack-Kanal oder e4hnliches, noch besser – Sie haben eine Entscheidung zur User Experience getroffen und sollten transparent machen, wann, wie und warum Sie diese getroffen haben.
Sobald alle fcber die Entscheidung informiert sind und es weitergehen kann, k f6nnen Sie Ihr Tech- und Produktteam bitten, die Gewinner-Variante f fcr alle Nutzer freizuschalten – und beobachten, wie Ihre wichtigste Kennzahl immer weiter steigt!
Das hei dft aber noch nicht, dass Ihre Arbeit schon erledigt ist ...
Schritt 7: Iterieren und optimieren
Es stimmt, dass die Kernarbeit f fcr Ihren A/B-Test an diesem Punkt erledigt ist. Es ist jedoch wichtig, innezuhalten und zu reflektieren, was Sie gelernt haben und welche weiteren Schritte m f6glich sind. Denken Sie daran: Nur weil Ihre Gewinner-Variante auf Grundlage der Zielsetzung im Test besser abgeschnitten hat, hei dft das nicht, dass es nicht eine noch bessere Iteration f fcr Ihre n e4chste A/B-Test-Runde gibt.
Tauschen Sie sich mit allen aus, die an Ihrem A/B-Test beteiligt waren, und besprechen Sie die Variable Ihres A/B-Tests: Was sind Ihre Hypothesen, warum die Gewinner-Variante Ihr KPI am positivsten beeinflusst hat? Was war es an der Verlierer-Variante, das sie in diesem Fall unterlegen gemacht hat? Sicher wissen k f6nnen Sie es ohne qualitative Nutzerforschung nicht – aber allein schon das Durchspielen Ihrer Hypothesen hilft, die n e4chsten Iterationen und A/B-Tests zu planen, um stetig die User Experience zu optimieren.
Nutzen Sie A/B-Tests, um im Laufe der Zeit Wissen über Ihre Nutzerbasis aufzubauen
Auch wenn jeder A/B-Test darauf ausgelegt ist, Daten über eine bestimmte Produktiteration zu sammeln und eine Entscheidung zu einer ganz konkreten Fragestellung in Echtzeit zu treffen, werden Sie feststellen, dass Sie mit der Integration der A/B-Test-Methodologie in Ihre Kernproduktabläufe eine Menge Wissen über Ihre Nutzerbasis anhäufen, das auch eine gewisse Beständigkeit aufweisen kann.
Ihr Team könnte in Erwägung ziehen, etwas so Einfaches wie eine Tabellenkalkulation oder auch so Ausgereiftes wie ein Research- und Experimentations-Repository zu nutzen, um Erkenntnisse aus jedem A/B-Test sowie weitere interne Erkenntnisse über Nutzer nachzuverfolgen und zu taggen.
Mit der Zeit werden Ihnen wahrscheinlich Muster auffallen. Zum Beispiel, wenn eine bestimmte Farbe eines CTA-Buttons oder eine Betreffzeile meist die Gewinner-Variante ist, sind das Daten mit potenzieller Langlebigkeit, insbesondere wenn sie durch Daten aus mehreren A/B-Tests gestützt werden. Ein weiteres Beispiel könnte sein, dass Ihrem Team auffällt, dass Textänderungen tendenziell einen weniger starken Effekt auf die Conversion-Rate-orientierten A/B-Tests haben als Änderungen am UI.
Die Möglichkeiten sind endlos und hängen stark von der Art Ihres Produkts ab – der zentrale Punkt ist jedoch, dass Sie die A/B-Test-Daten regelmäßig überprüfen sollten, damit Sie nicht nur Momentaufnahmen und Erkenntnisse gewinnen, sondern im Laufe der Zeit zunehmend Wissen aufbauen.
Ihre A/B-Testing-Reise wird garantiert erfolgreich sein!
A/B-Testing ist zweifelsohne eines der wirkungsvollsten Werkzeuge, die Ihnen als Nutzer-orientierte oder Produkt-Fachkraft zur Verfügung stehen, wenn es darum geht, die Nutzererfahrung zu optimieren, Ihren Nutzern einen Mehrwert zu bieten und Ihre wichtigsten Ziele und Vorgaben zu erreichen.
Hoffentlich fühlen Sie sich nun in der Lage, mit der A/B-Test-Methodik weiterzumachen. Sollten Sie jedoch hungrig nach mehr Wissen sein, abonnieren Sie unbedingt den CX Lead Newsletter für eine regelmäßige Dosis kuratierter Artikel, die Ihnen helfen können, Ihre Ziele zu erreichen.
Viel Erfolg beim Testen!
