Slik utfører du A/B-testing i 7 trinn (med eksempler)

Enten du er produkt- eller markedsføringsansvarlig, eller jobber sammen med disse teamene innen kundeopplevelse, er du sannsynligvis involvert i viktige prosesser for å forbedre bedriftens produkter og resultater, og du bruker brukerperspektiver for å gjøre det. Et av de mest kraftfulle verktøyene i verktøykassen din er uten tvil A/B-testing.

Hvorfor? Fordi det fjerner gjettingen fra spørsmål som hvilken av disse funksjonsversjonene støtter de viktigste KPI-ene våre best? Hvem ville takket nei til muligheten til å vite sikkert hvilken versjon av en produktiterasjon som best støtter de viktigste målene deres, som konverteringsrate eller en annen engasjementsmåling?

Svar: stort sett ingen. 

Som leder for brukerundersøkelser jobber jeg med flere team som gjennomfører A/B-tester for å forstå hva hver test lærer oss om brukerne, og hvordan den kan hjelpe oss med å lage bedre produktiterasjoner i fremtiden. La oss se nærmere på hva A/B-testing er, når og hvorfor du bør bruke det, hvordan du gjør det, og hvordan du kan bruke det til å bygge intern kunnskap om brukerbasen din.

Hva er A/B-testing: Definisjon og eksempel

Kort sagt er A/B-testing, også kjent som splittesting, en metode for å sammenligne to versjoner av noe for å se hvilken som gir best resultater basert på de viktigste målene dine. Det brukes ofte i produktutvikling for å teste ulike varianter av et produkt eller en funksjon, samt deres respektive effekter på KPI-er.

I en A/B-test lager du to versjoner av noe (for eksempel en funksjon), og fordeler ulike brukergrupper tilfeldig slik at de ser hver sin versjon. Ved å analysere testresultatene kan du avgjøre hvilken versjon som er mest effektiv, og bruke denne informasjonen til å ta datadrevne beslutninger om produktet ditt.

Her er et eksempel:

La oss si at bedriften din har en mobilapp som hjelper brukere med å planlegge store arrangementer. Teamet ditt har en funksjon som lar brukerne importere telefonkontaktene sine og sende invitasjoner direkte via tekstmeldinger. Internt har enkelte medlemmer av produkt- og kundeopplevelsesteamene ulike meninger om når du bør be en bruker om å importere telefonkontaktene sine – før eller etter at de har tilpasset tekstinvitasjonen. Hoved-KPI-en for denne spesifikke funksjonen er prosentandelen brukere som starter invitasjonsprosessen, og som faktisk sender tekstinvitasjonene sine til slutt. 

I en A/B-test utvikler teamet ditt de to aktuelle versjonene. Den eneste variabelen, eller forskjellen, mellom de to versjonene er når CTA-en for å importere telefonkontakter vises. Teamet fordeler tilfeldig to brukergrupper, der hver gruppe får én versjon av funksjonen. Når du har nok data – ideelt sett når du har oppnådd statistisk signifikante resultater – ser du på hver gruppe: Hvilken gruppe hadde en høyere prosentandel brukere som faktisk fullførte prosessen og sendte tekstinvitasjonene sine? Det er vinner­versjonen, og du aktiverer den for alle brukere.

Forfatterens tips

Jeg liker også denne ressursen med flere eksempler på A/B-testing, som kan hjelpe deg med å idémyldre rundt hvordan A/B-testing kan brukes i bedriften eller organisasjonen din. Den er også nyttig når du er i idémyldringsfasen, fordi du kan sette av litt tid til å søke etter eksempler på A/B-testing som er spesifikke for markedet ditt eller målgruppen din.

Hvorfor bør du gjennomføre A/B-testing?

Det er definitivt sant at A/B-testing krever mange ressurser – design, utvikling, dataanalyse og så videre. Men hvis du ser på verdiene og målene til de fleste bedrifter, vil du oppdage at de ofte samsvarer godt med fordelene ved A/B-testing. La oss se på noen av disse målene og verdiene, som kan hjelpe deg med å argumentere for et A/B-testingsprosjekt. 

Datadrevet beslutningstaking

A/B-testing lar deg ta datadrevne beslutninger om produktet ditt, i stedet for å basere deg på intuisjon eller gjetting. Ved å teste ulike varianter av en funksjon kan du avgjøre hvilken versjon som er mest effektiv, og ta beslutninger basert på konkrete data. Jeg har ennå ikke møtt noen i noe produktteam, noe sted, som ikke ønsker å være datadrevet. A/B-testing er et viktig verktøy for alle datadrevne produktteam.

Forbedret brukeropplevelse

Ved å teste ulike versjoner av et produkt eller en funksjon kan du identifisere måter å forbedre brukeropplevelsen på. Det kan innebære å gjøre en knapp i appen mer fremtredende, endre fargen på en CTA eller forenkle betalingsprosessen på et nettsted for netthandel. Resultatene fra A/B-tester forteller deg hvilke prosesser, funksjoner og variabler som fungerer best for brukerne dine, basert på hvilke nøkkelmål du velger. Når vi hopper over A/B-testing, oppdager vi ofte at vi gjettet feil og bruker enda flere ressurser på å rette opp feilen – noe som også forlenger tidslinjen for å optimalisere en funksjon slik at den oppnår brukertilfredshet.

Potensielle inntektsøkninger

Når du gjennomfører en A/B-test, velger du nøkkelmålet eller nøkkelmålene som skal avgjøre vinneren når du får testresultatene. Det betyr at hvis inntekter er et av de viktigste målene dine, kan du faktisk vite sikkert hvilken versjon av et produkt eller en funksjon som gir høyest inntekt.  

Bygge kunnskap om brukerne over tid

Vi skal snakke mer om dette senere, men en annen viktig fordel ved å integrere A/B-testing i produktarbeidsflyten er at du over tid bygger opp kunnskap om brukerne. Det handler ikke bare om at hver A/B-test hjelper deg med å ta beslutninger der og da, men også om at den lærer deg noe om hvordan brukerne samhandler med produktet ditt, og denne kunnskapen kan være nyttig i fremtidig produktarbeid.

A/B-testingsprosessen i 7 enkle trinn

Her er vi – den morsomme delen! Du er allerede overbevist om at A/B-testing av plasseringen av handlingsoppfordringen din eller den beste måten å implementere en spennende ny funksjon på, er veien å gå. Hvordan gjør du det?

Forfatterens tips

De viktigste måleenhetene dine kan være positive – som å øke åpningsfrekvensen for e-postlisten din eller øke inntektene gjennom et priseeksperiment – eller de kan ha som mål å begrense skade, for eksempel ved å redusere antallet returnerte e-poster eller avinstalleringer av mobilapper. Ting som optimalisering av konverteringsraten er viktige mål for A/B-testing, men husk at det finnes mange andre alternativer.
Før du går gjennom resten av trinnene, må du sørge for at du og teamet ditt definerer måleenhetene som dere skal bruke til å kåre vinneren, basert på de overordnede målene deres.

Trinn 2: Identifiser variabelen som skal testes

Når du har definert målet ditt, er neste trinn å identifisere variabelen du vil teste. En variabel er forskjellen mellom de to versjonene i A/B-testen din, og jeg skal si noe ganske ekstremt om variabelen:

Hvis du har mer enn én variabel, er resultatene av A/B-testen begrenset når det gjelder hvor mye de kan lære deg. 

Hvis de to versjonene dine har mer enn én forskjell, vil du fortsatt kunne vite hvilken versjon som vant basert på den viktigste måleenheten, men du vil ikke vite hvorfor, og det kan bli komplisert. La oss gå tilbake til eksempelet med landingssiden. Hver side har en handlingsoppfordring med en annen knappfarge og la oss si at markedsføringsteksten også er forskjellig mellom de to versjonene. Du kan se at versjon B påvirker KPI-ene dine mer positivt, men du vet ikke om det skyldtes knappfargen, den forskjellige teksten eller begge deler.

Dette er først og fremst viktig fordi du kanskje ønsker å gjøre fremtidige iterasjoner, enten med fargene i brukergrensesnittet eller markedsføringsteksten. Du vil ikke vite hva som er hellig og hva som ikke er det, eller hvordan du skal formulere den neste A/B-testen strategisk. Derfor er regelen én A/B-test, én variabel.  

Når det er sagt, finnes det noe som kalles multivariat testing, som er akkurat det det høres ut som – testing av versjoner av noe som har flere variabler. Reglene og trinnene for å gjennomføre en multivariat test er annerledes og faller utenfor denne veiledningen, men vi anbefaler dette som en god ressurs å starte med.

Forfatterens tips

Siden du bare har én variabel i en A/B-test, bør du prøve å velge en variabel basert på teamets hypotese om hvilket aspekt ved funksjonen eller den andre endringen din som vil påvirke nøkkelmetrikkverdien. Hvis nøkkelmetrikkverdien din for eksempel er konverteringsfrekvensen for betalende kunder, bør variabelen du tester være nært knyttet til hvor og hvordan brukerne avgjør om de skal betale for produktet eller tjenesten din.

Trinn 4: Sett opp testen

Det er avgjørende å sørge for at testen er riktig satt opp. Her er en rask sjekkliste over ting du bør se etter, og som kan være relevante eller irrelevante for bedriften eller organisasjonen din.

• Har du kontrollert begge versjonene av nettsiden/mobilappen/funksjonen for å sikre at de fungerer som de skal?
• Er data- eller produktteamet ditt klar over at denne A/B-testen skal gjennomføres, og har de satt av tid til å analysere den etter hvert som dataene kommer inn?
• Har du et dashbord der viktige KPI-er og beregninger av brukeradferd kan overvåkes mens A/B-testen pågår? Dette er også viktig for å sikre at ingen av versjonene påvirker en viktig metrikkverdi drastisk negativt. I så fall kan det være lurt å slå av testen og undersøke saken.

Når det gjelder gjennomføringen av testen, kan det hende at datateamet ditt allerede har en intern mekanisme for å gjøre dette. Hvis ikke, finnes det et stort utvalg av A/B-testverktøy der ute – alt fra grunnleggende funksjonalitet i Google Analytics til mer komplekse plattformer, som SaaS-verktøy for A/B-testing. Diskuter internt med teamet ditt hvilket verktøy som best oppfyller behovene deres.

Trinn 6: Implementer den vinnende versjonen

Etter at du har analysert dataene dine, er det på tide å implementere den vinnende versjonen av A/B-testen. På dette stadiet er det viktig å sørge for at alle interessenter kjenner til resultatene fra A/B-testen og hvordan du avgjorde hvilken variant som vant.  Hvis det finnes en relevant Slack-kanal eller noe lignende, er det enda bedre – du har nettopp tatt en beslutning om brukeropplevelsen, og du bør sørge for åpenhet rundt når, hvorfor og hvordan.

Når alle kjenner til beslutningen og det er på tide å gå videre, kan du be teknologi- og produktteamet om å gå videre og aktivere den vinnende varianten for alle brukere – og se nøkkelmetrikkverdien øke og øke!

Når det er sagt, er arbeidet ditt ikke helt ferdig ennå …

Bruk A/B-testing til å bygge kunnskap om brukerbasen din over tid

Selv om hver A/B-test er utformet for å samle inn data om én bestemt produktiterasjon og ta en beslutning i sanntid om en spesifikk problemstilling, vil du se at når du innlemmer A/B-testmetodikk i de sentrale produktarbeidsflytene dine, samler du faktisk opp mye kunnskap om brukerbasen din som også kan ha langvarig verdi.

Teamet ditt bør vurdere å bruke noe så enkelt som et regneark eller noe så omfattende som et arkiv for forskning og eksperimentering for å spore og merke innsiktene fra hver A/B-test, sammen med annen intern innsikt om brukerne.

Over tid vil du sannsynligvis legge merke til mønstre. Hvis det for eksempel finnes én bestemt farge på en CTA-knapp eller en emnelinje som vanligvis er den vinnende varianten, er dette data med potensielt langvarig verdi, særlig når de støttes av data fra mer enn én A/B-test. Et annet eksempel kan være at teamet ditt legger merke til at endringer i tekstinnhold har en mindre betydelig effekt på A/B-tester som er rettet mot konverteringsfrekvens, sammenlignet med endringer i brukergrensesnittet.  

Mulighetene er uendelige og avhenger i stor grad av produktets art, men hovedpoenget er at du bør gjennomgå A/B-testdata med jevne mellomrom, slik at du ikke bare kan få innsikt i øyeblikket, men også bygge kunnskap over tid.

A/B-testreisen din kommer til å bli fruktbar, garantert! 

A/B-testing er uten tvil et av de mest effektive verktøyene du har som brukerorientert fagperson eller produktfagperson når det gjelder å optimalisere brukeropplevelsen for å gi brukerne dine verdi og nå de viktigste målene og målsettingene dine.

Forhåpentligvis føler du nå at du har kunnskapen du trenger for å gå videre med A/B-testmetodikk. Men hvis du ønsker mer kunnskap, bør du abonnere på CX Lead-nyhetsbrevet for jevnlig tilgang til kuraterte artikler som kan hjelpe deg med å nå målene dine.

God testing!