Så genomför du A/B-testning i 7 steg (med exempel)
Oavsett om du arbetar med produktutveckling eller marknadsföring, eller samarbetar med sådana team inom kundupplevelse, är du sannolikt involverad i viktiga processer för att förbättra företagets produkter och resultat, och använder användarperspektiv för att göra det. Ett av de mest kraftfulla verktygen i din verktygslåda är utan tvekan A/B-testning.
Varför? Eftersom det eliminerar gissningarna kring frågor som vilken av dessa funktionsversioner stöder våra viktigaste KPI:er bäst? Vem skulle tacka nej till möjligheten att med säkerhet veta vilken version av en produktiteration som bäst stöder deras viktigaste mätvärden, som konverteringsgrad eller något annat engagemangsmått?
Svar: i princip ingen.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Som ansvarig för användarundersökningar arbetar jag med flera team som genomför A/B-tester för att förstå vad varje test lär oss om användarna och hur det kan hjälpa oss att förbättra framtida produktiterationer. Låt oss gå igenom vad A/B-testning är, när och varför du bör använda det, hur du gör det och hur du kan använda det för att bygga intern kunskap om din användarbas.
Vad är A/B-testning: definition och exempel
Enkelt uttryckt är A/B-testning, även kallat delningstestning, en metod för att jämföra två versioner av något för att se vilken som presterar bäst utifrån dina viktigaste mätvärden. Det används vanligtvis inom produktutveckling för att testa olika varianter av en produkt eller funktion och deras respektive effekter på KPI:er.
I ett A/B-test skapar du två versioner av något (till exempel en funktion) och tilldelar slumpmässigt olika användargrupper varsin version. Genom att analysera testresultaten kan du avgöra vilken version som är mest effektiv och använda denna information för att fatta datadrivna beslut om din produkt.
Här är ett exempel:
Anta att ditt företag har en mobilapp som hjälper användare att planera stora evenemang. Ditt team har en funktion som låter användarna importera sina telefonkontakter och skicka inbjudningar direkt via SMS. Internt har vissa medlemmar i produkt- och kundupplevelseteamen olika åsikter om när ni bör be en användare att importera sina telefonkontakter – före eller efter att de har anpassat SMS-inbjudan. Det viktigaste KPI:t för den här funktionen är andelen användare som påbörjar inbjudningsprocessen och som faktiskt skickar sina SMS-inbjudningar.
I ett A/B-test utvecklar teamet de två aktuella versionerna. Den enda variabeln, eller skillnaden, mellan de två versionerna är när CTA:n för att importera telefonkontakter visas. Teamet tilldelar slumpmässigt två användargrupper, där varje grupp får en version av funktionen. När ni har tillräckligt med data – helst med statistiskt signifikanta resultat – tittar ni på varje grupp: vilken grupp hade en högre andel användare som faktiskt slutförde flödet och skickade sina SMS-inbjudningar? Det är den vinnande versionen, och ni aktiverar den för alla användare.
Varför ska man göra A/B-testning?
Det stämmer definitivt att A/B-testning kräver mycket resurser – design, utveckling, dataanalys och så vidare. Men om du tittar på de flesta företags värderingar och mål kommer du att upptäcka att de ofta ligger mycket nära fördelarna med A/B-testning. Låt oss titta på några av dessa mål och värderingar, som kan hjälpa dig att argumentera för ett A/B-testningsprojekt.
Datadrivet beslutsfattande
A/B-testning gör att du kan fatta datadrivna beslut om din produkt i stället för att förlita dig på intuition eller gissningar. Genom att testa olika varianter av en funktion kan du avgöra vilken version som är mest effektiv och fatta beslut baserade på konkreta data. Jag har ännu inte träffat någon i något produktteam, någonstans, som inte strävar efter att vara datadriven. A/B-testning är ett viktigt verktyg för alla datadrivna produktteam.
Förbättrad användarupplevelse
Genom att testa olika versioner av en produkt eller funktion kan du identifiera sätt att förbättra användarupplevelsen. Det kan innebära att göra en knapp i appen mer framträdande, ändra färgen på en CTA eller förenkla en betalningsprocess på en e-handelswebbplats. Resultaten från A/B-tester visar vilka flöden, funktioner och variabler som fungerar bäst för dina användare, baserat på de viktigaste mätvärden du väljer. När vi hoppar över A/B-testning upptäcker vi ofta att vi gissade fel och använder ännu mer resurser för att korrigera misstaget – vilket också förlänger tidsplanen för att optimera en funktion så att den uppnår användarnöjdhet.
Potentiella intäktsökningar
När du genomför ett A/B-test väljer du det eller de viktigaste mätvärden som ska avgöra vinnaren när du får testresultaten. Det innebär att du, om intäkter är ett av dina viktigaste mål, faktiskt kan veta säkert vilken version av en produkt eller funktion som leder till högst intäkter.
Bygga kunskap om användare över tid
Vi kommer att prata mer om detta senare, men en annan viktig fördel med att integrera A/B-testning i produktarbetsflödet är att du över tid bygger upp kunskap om användarna. Det handlar inte bara om att varje A/B-test hjälper dig att fatta beslut i stunden, utan också om att det lär dig något om hur användarna interagerar med produkten. Den kunskapen kan hjälpa till i framtida produktarbete.
A/B-testningsprocessen i 7 enkla steg
Här är vi – den roliga delen! Du är redan övertygad om att A/B-testa placeringen av din uppmaning till handling eller det bästa sättet att genomföra en spännande ny funktion. Hur gör du?
Steg 1: Definiera ditt mål
Innan du startar ett A/B-test är det viktigt att definiera ditt mål. Vad hoppas du uppnå med testet? Det viktiga här är att ditt mål måste vara ett mätvärde. Med andra ord måste du kunna se i siffror hur varje variabel presterar jämfört med den andra.
Till exempel:
Att skapa en enklare användarupplevelse är ett bra mål att ha i åtanke, men det räknas inte som ett mål för ett A/B-test. Låt säga att du har en webbutik. Ett bra mål för ett A/B-test kan vara något i stil med: Öka andelen användare som slutför kassaprocessen och genomför ett köp eller helt enkelt betald konverteringsgrad. Det är mätbart i siffror och är sannolikt ett mätvärde som stämmer överens med dina övergripande affärsmål.
Eller säg att du använder A/B-testning för att bättre optimera en specifik del av din marknadsföringsstrategi. Du kan publicera två versioner av en målsida, båda med budskap från marknadsföringskampanjen, men med olika knappfärg för den huvudsakliga CTA:n. Målet med ditt A/B-test kan vara klickfrekvensen (CTR) på knappen.
Steg 2: Identifiera variabeln som ska testas
När du har definierat ditt mål är nästa steg att identifiera variabeln du vill testa. En variabel är skillnaden mellan de två versionerna i ditt A/B-test, och jag tänker säga något ganska extremt om variabeln:
Om du har mer än en variabel är resultaten från ditt A/B-test begränsade när det gäller hur mycket de kan lära dig.
Om dina två versioner skiljer sig åt på mer än ett sätt kommer du fortfarande att kunna se vilken version som vann baserat på ditt viktigaste mätvärde, men du kommer inte att veta varför, och det kan bli problematiskt. Låt oss återgå till vårt exempel med målsidan. Varje sida har en CTA med en annan knappfärg och låt säga att marknadsföringstexten också skiljer sig åt mellan de två versionerna. Du kanske ser att version B påverkar dina KPI:er mer positivt, men du vet inte om det berodde på knappfärgen, den annorlunda texten eller båda.
Detta är främst viktigt eftersom du kanske vill göra framtida iterationer, antingen med färgerna i ditt användargränssnitt eller med din marknadsföringstext. Du kommer inte att veta vad som är avgörande och vad som inte är det, eller hur du ska utforma ditt nästa A/B-test strategiskt. Regeln är därför ett A/B-test, en variabel.
Med det sagt finns det något som kallas multivariat testning, vilket är precis vad det låter som – att testa versioner av något som har flera variabler. Reglerna och stegen för att genomföra ett multivariat test skiljer sig åt och ligger utanför den här guidens omfattning, men den här resursen är en utmärkt utgångspunkt.
Steg 3: Skapa dina variationer
Vid det här laget har du definierat dina mål och bestämt vilken den enda variabeln mellan dina två versioner ska vara. Nu är det dags för dina designers och utvecklare att sätta igång och ta fram båda versionerna.
När du planerar ditt A/B-test och informerar andra intressenter om när de kan förvänta sig resultat bör du se till att rådgöra med design- och utvecklingsteamen om deras tidsplan: hur lång tid kommer det att ta för dem att skapa de två versionerna du behöver?
Steg 4: Konfigurera ditt test
Att se till att testet är korrekt konfigurerat är ett viktigt steg. Här är en snabb checklista över saker att hålla utkik efter som kan vara relevanta eller irrelevanta för ditt företag eller din organisation.
- Har du kontrollerat båda versionerna av din webbsida/mobilapp/funktion för att se till att de fungerar korrekt?
- Är ditt data- eller produktteam medvetet om att detta A/B-test kommer att genomföras, och har de avsatt tid för att analysera det allteftersom data kommer in?
- Har du en instrumentpanel där viktiga KPI:er och mått för användarbeteende kan övervakas medan A/B-testet pågår? Detta är också viktigt för att säkerställa att ingen av versionerna påverkar ett viktigt mått drastiskt negativt. I så fall kan du vilja stänga av testet och undersöka saken.
När det gäller att genomföra testet kan det hända att ditt datateam redan har en intern mekanism för detta. Om inte finns det en mängd olika verktyg för A/B-testning, från grundläggande funktioner i Google Analytics till mer komplexa plattformar, som SaaS-verktyg för A/B-testning. Diskutera internt med ditt team vilket verktyg som bäst uppfyller era behov.
Steg 5: Samla in och analysera dina data
Rådgör med ditt interna datateam om när du har uppnått statistisk signifikans, vilket innebär att tillräckligt många användare har exponerats för en av dina A/B-testversioner för att du på ett tillförlitligt sätt ska kunna dra slutsatser från den aktuella urvalsstorleken. Du vill undvika en situation där du fattar beslutet för tidigt eftersom användargrupperna inte var tillräckligt stora för att kunna dra slutsatser.
När de har gett klartecken samarbetar du med dem för att granska testresultaten. Du har redan bestämt vilket eller vilka nyckelmått du ska använda för att avgöra vilken variant som vinner, så den här delen bör vara relativt snabb och enkel.
Steg 6: Implementera den vinnande versionen
När du har analyserat dina data är det dags att implementera den vinnande versionen av ditt A/B-test. I det här skedet är det viktigt att se till att alla intressenter känner till A/B-testets resultat och hur du avgjorde vilken variant som vann. Om det finns en relevant Slack-kanal eller något liknande är det ännu bättre – du har precis fattat ett beslut om användarupplevelsen och vill se till att det finns transparens kring när, varför och hur.
När alla känner till beslutet och det är dags att gå vidare kan du be teknik- och produktteamet att aktivera den vinnande varianten för alla användare – och se hur ditt nyckelmått ökar mer och mer!
Med det sagt är ditt arbete inte riktigt klart än…
Steg 7: Iterera och optimera
Det stämmer att det huvudsakliga arbetet med ditt A/B-test är över vid det här laget, men det är viktigt att ta sig tid att förstå vad du har lärt dig och tänka på framtida iterationer av det du testade. Kom ihåg att bara för att din vinnande variant var bättre än den andra varianten utifrån testets mål betyder det inte att det inte finns en ännu bättre iteration för nästa omgång av A/B-testning.
Prata med alla som var involverade i ditt A/B-test och diskutera variabeln i ditt A/B-test – vilka hypoteser har ni om varför den vinnande varianten påverkade era KPI:er mest positivt? Vad var det med den förlorande varianten som gjorde den sämre i det här fallet? Du kan inte veta säkert utan att genomföra någon kvalitativ användarundersökning, men även att bara prata igenom era hypoteser kan hjälpa er att tänka kring nästa iterationer och framtida A/B-tester för att kontinuerligt optimera användarupplevelsen.
Använd A/B-testning för att bygga kunskap om din användarbas över tid
Även om varje A/B-test är utformat för att samla in data om en specifik produktiteration och fatta ett beslut i realtid i en specifik fråga, kommer du att se att när du införlivar A/B-testningsmetodik i dina centrala produktarbetsflöden samlar du faktiskt på dig mycket kunskap om din användarbas som också kan ha långvarig relevans.
Ditt team kan överväga att använda något så enkelt som ett kalkylark eller något så robust som ett arkiv för undersökningar och experiment för att spåra och tagga insikterna från varje A/B-test, tillsammans med andra interna insikter om användare.
Med tiden kommer du sannolikt att lägga märke till mönster. Om det till exempel finns en viss färg på en CTA-knapp eller en ämnesrad som vanligtvis är den vinnande varianten, är det data med potential att förbli relevant över tid, särskilt när den stöds av data från mer än ett A/B-test. Ett annat exempel kan vara att ditt team lägger märke till att textändringar tenderar att ha mindre betydande effekt på A/B-tester som fokuserar på konverteringsgrad, jämfört med ändringar i användargränssnittet.
Möjligheterna är oändliga och i hög grad beroende av din produkts natur, men den övergripande poängen är att du bör granska data från A/B-tester med viss regelbundenhet, så att du inte bara kan få insikter i stunden utan också bygga kunskap över tid.
Din resa med A/B-testning kommer att bli givande, garanterat!
A/B-testning är utan tvekan ett av de mest kraftfulla verktygen du har som användarorienterad yrkesperson eller produktansvarig när det gäller att optimera användarupplevelsen för att skapa värde för dina användare och nå dina viktigaste mål och resultat.
Förhoppningsvis känner du nu att du har den kunskap som krävs för att gå vidare med A/B-testningsmetodik. Men om du vill lära dig ännu mer kan du prenumerera på CX Leads nyhetsbrev för en regelbunden dos av utvalda artiklar som kan hjälpa dig att nå dina mål.
Lycka till med testningen!
