Kuinka tehdä A/B-testaus 7 vaiheessa (esimerkkien avulla)
Olitpa tuote- tai markkinointialan ammattilainen tai työskentelitpä näiden tiimien rinnalla asiakaskokemuksen parissa, olet todennäköisesti mukana keskeisissä prosesseissa, joilla yrityksesi tuotteita ja suorituskykyä parannetaan, ja hyödynnät tässä käyttäjien näkökulmia. Yksi työkalupakkisi ehdottomasti tehokkaimmista työkaluista on A/B-testaus.
Miksi? Koska se poistaa arvailun kysymyksistä, kuten kumpi näistä ominaisuuksien versioista tukee parhaiten tärkeimpiä suorituskykymittareitamme? Kukapa luopuisi mahdollisuudesta tietää varmasti, mikä tuoteversion iteraatio tukee parhaiten keskeisiä mittareita, kuten konversioastetta tai muuta sitoutumismittaria?
Vastaus: useimmat eivät.
Continue Reading for Free
Create a free account to finish this article, plus get ongoing access to timely insights and practical resources.
Have an account? Log In
Toimiessani käyttäjätutkimuksen vetäjänä työskentelen useiden tiimien kanssa, jotka toteuttavat A/B-testejä ymmärtääkseen, mitä kukin testi opettaa meille käyttäjistä ja miten se voi auttaa meitä tekemään tulevaisuudessa parempia tuotteen iteraatioita. Tutustutaan siis siihen, mitä A/B-testaus on, milloin ja miksi sitä kannattaa käyttää, miten sitä tehdään ja miten sen avulla voidaan rakentaa sisäistä tietämystä käyttäjäkunnasta.
Mitä A/B-testaus on: määritelmä ja esimerkki
Yksinkertaisesti sanottuna A/B-testaus, joka tunnetaan myös jaettuna testauksena, on menetelmä, jossa verrataan kahta versiota jostakin asiasta sen selvittämiseksi, kumpi suoriutuu paremmin keskeisten mittareidesi perusteella. Sitä käytetään yleisesti tuotekehityksessä tuotteen tai ominaisuuden eri versioiden ja niiden vaikutusten suorituskykymittareihin testaamiseen.
A/B-testissä luot kaksi versiota jostakin asiasta (esimerkiksi ominaisuudesta) ja määrität eri käyttäjäryhmät satunnaisesti näkemään jommankumman version. Analysoimalla testin tuloksia voit määrittää, kumpi versio on tehokkaampi, ja käyttää tätä tietoa tuotettasi koskevien tietoon perustuvien päätösten tekemiseen.
Esimerkki:
Oletetaan, että yritykselläsi on mobiilisovellus, joka auttaa käyttäjiä suunnittelemaan suuria tapahtumia. Tiimilläsi on ominaisuus, jonka avulla käyttäjät voivat tuoda puhelimensa yhteystiedot ja lähettää kutsuja suoraan tekstiviesteillä. Jotkut tuote- ja asiakaskokemustiimien jäsenet ovat keskenään eri mieltä siitä, milloin käyttäjää pitäisi pyytää tuomaan puhelimen yhteystiedot – ennen tekstikutsun mukauttamista vai sen jälkeen. Tämän ominaisuuden tärkein suorituskykymittari on niiden käyttäjien prosenttiosuus, jotka aloittavat kutsuprosessin ja lopulta todella lähettävät tekstikutsunsa.
A/B-testissä tiimisi kehittää kyseessä olevat kaksi eri versiota. Ainoa muuttuja eli ero versioiden välillä on se, milloin yhteystietojen tuomiseen kehottava CTA näkyy. Tiimisi jakaa käyttäjät satunnaisesti kahteen ryhmään, joista kumpikin saa käyttöönsä yhden ominaisuuden version. Kun dataa on riittävästi – mieluiten kun on saavutettu tilastollisesti merkitsevät tulokset – tarkastelet kumpaakin ryhmää: kummassa ryhmässä niiden käyttäjien prosenttiosuus oli suurempi, jotka todella suorittivat prosessin loppuun ja lähettivät tekstiviestikutsunsa? Se on voittava versio, ja otat sen käyttöön kaikille käyttäjille.
Miksi A/B-testausta tehdään?
On ehdottomasti totta, että A/B-testaus vaatii paljon resursseja – suunnittelua, kehitystyötä, data-analyysiä ja niin edelleen. Mutta jos tarkastelet useimpien yritysten arvoja ja tavoitteita, huomaat, että ne ovat usein hyvin linjassa A/B-testauksen hyötyjen kanssa. Tarkastellaanpa joitakin näistä tavoitteista ja arvoista, jotka voivat auttaa sinua perustelemaan A/B-testausprojektin tarpeellisuuden.
Tietoon perustuva päätöksenteko
A/B-testauksen avulla voit tehdä tuotteestasi tietoon perustuvia päätöksiä sen sijaan, että luottaisit intuitioon tai arvailuun. Testaamalla ominaisuuden eri versioita voit määrittää, mikä versio on tehokkaampi, ja tehdä päätöksiä kovan datan perusteella. En ole vielä tavannut ketään, joka työskentelisi millään tuotealalla ja missä tahansa eikä haluaisi toimia tietoon perustuvasti. A/B-testaus on keskeinen työkalu jokaiselle tietoon perustuvalle tuotetiimille.
Parempi käyttäjäkokemus
Testaamalla tuotteen tai ominaisuuden eri versioita voit löytää tapoja parantaa käyttäjäkokemusta. Tämä voi tarkoittaa esimerkiksi sovelluksesi painikkeen tekemistä näkyvämmäksi, CTA:n värin muuttamista tai verkkokaupan kassaprosessin sujuvoittamista. A/B-testin tulokset kertovat, mitkä prosessit, ominaisuudet ja muuttujat toimivat käyttäjillesi parhaiten valitsemiesi keskeisten mittareiden perusteella. Kun A/B-testaus jätetään usein väliin, huomaamme, että arvasimme väärin, ja käytämme vielä enemmän resursseja virheen korjaamiseen – mikä myös pidentää ominaisuuden optimointiin kuluvaa aikaa ja käyttäjätyytyväisyyden saavuttamista.
Mahdolliset liikevaihdon kasvut
Kun suoritat A/B-testin, valitset keskeisen mittarin tai keskeiset mittarit, joiden perusteella päätät voittajan testitulosten valmistuttua. Tämä tarkoittaa, että jos liikevaihto on yksi tärkeistä tavoitteistasi, voit todella tietää varmasti, mikä tuotteen tai ominaisuuden versio tuottaa suurimman liikevaihdon.
Käyttäjiä koskevan tietämyksen kartuttaminen ajan mittaan
Puhumme tästä lisää myöhemmin, mutta toinen keskeinen hyöty A/B-testauksen integroimisesta tuotetyönkulkuun on se, että ajan mittaan kartutat tietämystä käyttäjistä. Kyse ei ole vain siitä, että jokainen A/B-testi auttaa sinua tekemään päätöksiä juuri sillä hetkellä, vaan se opettaa myös jotain siitä, miten käyttäjät ovat vuorovaikutuksessa tuotteesi kanssa. Tätä tietämystä voidaan hyödyntää tulevassa tuotetyössä.
A/B-testauksen prosessi seitsemässä helpossa vaiheessa
Tässä se tulee – hauskin osuus! Olet jo vakuuttunut siitä, että toimintakehotteen sijoittelun tai uuden, kiinnostavan ominaisuuden parhaimman toteutustavan A/B-testaus on oikea tapa edetä. Miten se tehdään?
Vaihe 1: Määritä tavoitteesi
Ennen A/B-testin aloittamista on tärkeää määrittää tavoitteesi. Mitä toivot saavuttavasi testillä? Keskeistä on, että tavoitteesi täytyy olla mittari. Toisin sanoen sinun on pystyttävä näkemään numeroina, miten kukin muuttuja suoriutuu toiseen verrattuna.
Esimerkki:
Sujuvamman käyttäjäkokemuksen luominen on hyvä tavoite, mutta sitä ei lasketa A/B-testin tavoitteeksi. Oletetaan, että sinulla on verkkokauppa. Hyvä tavoite A/B-testille voisi olla esimerkiksi: Kasvata niiden käyttäjien prosenttiosuutta, jotka suorittavat kassaprosessin loppuun ja tekevät ostoksen, tai yksinkertaisesti maksullisen konversion aste. Se on mitattavissa numeroina, ja kyseessä on todennäköisesti mittari, joka vastaa liiketoimintasi yleisiä tavoitteita.
Oletetaan esimerkiksi, että hyödynnät A/B-testausta markkinointistrategiasi tietyn osan optimointiin. Voit julkaista kaksi versiota aloitussivusta, joissa molemmissa on markkinointikampanjan viesti mutta pääasiallisen toimintakehotteen painikkeella on eri väri. A/B-testin tavoitteena voi olla painikkeen klikkausprosentti (CTR).
Vaihe 2: Tunnista testattava muuttuja
Kun olet määrittänyt tavoitteesi, seuraava vaihe on tunnistaa muuttuja, jonka haluat testata. Muuttuja on A/B-testin kahden version välinen ero, ja sanon muuttujasta jotain melko äärimmäistä:
Jos muuttujia on enemmän kuin yksi, A/B-testisi tulokset opettavat sinulle rajallisesti asioita.
Jos versioidesi välillä on useampi kuin yksi ero, pystyt edelleen selvittämään keskeisen mittarisi perusteella, kumpi versio voitti, mutta et tiedä miksi – ja se voi aiheuttaa ongelmia. Palataan aloitussivuesimerkkiimme. Kummallakin sivulla on toimintakehote, jonka painikkeen väri on erilainen, ja oletetaan, että myös markkinointiteksti on erilainen näiden kahden version välillä. Saatat nähdä, että versio B vaikuttaa myönteisemmin keskeisiin suorituskykymittareihisi, mutta et tiedä, johtuiko se painikkeen väristä, erilaisesta tekstistä vai molemmista.
Tämä on olennaista ennen kaikkea siksi, että saatat haluta tehdä tulevia iteraatioita joko käyttöliittymäsi värien tai markkinointitekstisi osalta. Et tiedä, mikä on muuttumatonta ja mikä ei, etkä sitä, miten seuraava A/B-testi kannattaa suunnitella strategisesti. Sääntö on siis: yksi A/B-testi, yksi muuttuja.
On kuitenkin olemassa myös monimuuttujatestaus, joka on nimensä mukaisesti useita muuttujia sisältävien versioiden testaamista. Monimuuttujatestin toteuttamista koskevat säännöt ja vaiheet ovat erilaiset eivätkä kuulu tämän oppaan piiriin, mutta tämä on mielestämme hyvä lähde, josta aloittaa.
Vaihe 3: Luo variaatiosi
Tässä vaiheessa olet määritellyt tavoitteesi ja päättänyt, mikä yksi muuttuja erottaa kaksi versiotasi toisistaan. Nyt suunnittelijasi ja kehittäjäsi ryhtyvät töihin ja tuottavat molemmat versiot.
Kun suunnittelet A/B-testiäsi ja kerrot muille sidosryhmille, milloin tuloksia on odotettavissa, muista keskustella suunnittelu- ja kehitystiimien kanssa niiden aikataulusta: kuinka kauan tarvitsemiesi kahden version luomiseen kuluu?
Vaihe 4: Määritä testisi
Testin asianmukaisen määrittämisen varmistaminen on ratkaisevan tärkeä vaihe. Tässä on nopea tarkistuslista asioista, jotka voivat olla merkityksellisiä tai merkityksettömiä yrityksellesi tai organisaatiollesi.
- Oletko tarkistanut verkkosivusi/mobiilisovelluksesi/ominaisuutesi molemmat versiot varmistaaksesi, että ne toimivat oikein?
- Tietääkö data- tai tuotetiimisi, että tämä A/B-testi toteutetaan, ja ovatko he varanneet aikaa sen analysointiin datan kertyessä?
- Onko sinulla koontinäyttöä, jossa keskeisiä KPI-mittareita ja käyttäjien käyttäytymiseen liittyviä mittareita voidaan seurata A/B-testin aikana? Tämä on tärkeää myös sen varmistamiseksi, ettei jokin versio vaikuta keskeiseen mittariin erittäin kielteisesti. Tällöin saatat haluta keskeyttää testin ja tutkia asiaa.
Testin toteuttamisen osalta datatiimilläsi saattaa jo olla sisäinen mekanismi sitä varten. Jos näin ei ole, saatavilla on laaja valikoima A/B-testaustyökaluja – aina Google Analyticsin perustoiminnoista monimutkaisempiin alustoihin, kuten SaaS-A/B-testaustyökaluihin. Keskustelkaa tiimisi kanssa siitä, mikä niistä vastaa parhaiten tarpeitanne.
Vaihe 5: Kerää ja analysoi datasi
Keskustele sisäisen datatiimisi kanssa siitä, milloin olet saavuttanut tilastollisen merkitsevyyden – toisin sanoen siitä, milloin riittävä määrä käyttäjiä on nähnyt jonkin A/B-testiversioistasi niin, että voit tehdä nykyisen otoskoon perusteella luotettavia johtopäätöksiä. Haluat välttää tilanteen, jossa teet päätöksen liian aikaisin, koska käyttäjäryhmät eivät olleet riittävän suuria johtopäätösten tekemiseen.
Kun he ovat antaneet hyväksyntänsä, työskentele heidän kanssaan testin tulosten tarkastelemiseksi. Olet jo päättänyt keskeisen mittarisi tai keskeiset mittarisi, joiden perusteella määrität voittavan variaation, joten tämän vaiheen pitäisi olla suhteellisen nopea ja suoraviivainen.
Vaihe 6: Ota voittava versio käyttöön
Kun olet analysoinut datasi, on aika ottaa A/B-testisi voittava versio käyttöön. Tässä vaiheessa on tärkeää varmistaa, että kaikki sidosryhmät ovat tietoisia A/B-testin tuloksista ja siitä, miten määritit voittavan variaation. Jos käytössä on asiaankuuluva Slack-kanava tai jotain vastaavaa, vielä parempi – olet juuri tehnyt käyttäjäkokemusta koskevan päätöksen, ja haluat varmistaa, että päätöksen ajankohdasta, syistä ja toteutustavasta on riittävästi läpinäkyvyyttä.
Kun kaikki ovat tietoisia päätöksestä ja on aika edetä, voit pyytää teknologia- ja tuotetiimiä ottamaan voittavan variaation käyttöön kaikille käyttäjille – ja seurata, kuinka keskeinen mittarisi kasvaa kasvamistaan!
Siitä huolimatta työsi ei ole aivan vielä valmis…
Vaihe 7: Toista ja optimoi
On totta, että A/B-testisi ydintyö on tässä vaiheessa ohi, mutta on tärkeää käyttää aikaa oppimasi ymmärtämiseen ja pohtia testaamasi asian tulevia iteraatioita. Muista, että vaikka voittava variaatiosi oli testitavoitteidesi perusteella parempi kuin toinen variaatio, se ei tarkoita, etteikö seuraavaa A/B-testikierrostasi varten voisi löytyä vielä parempaa iteraatiota.
Keskustele kaikkien A/B-testiisi osallistuneiden kanssa ja pohtikaa A/B-testisi muuttujaa – millaisia hypoteeseja teillä on siitä, miksi voittava variaatio vaikutti KPI-mittariisi kaikkein myönteisimmin? Mikä häviävässä variaatiossa teki siitä tässä tapauksessa heikomman? Et voi tietää tätä varmasti tekemättä laadullista käyttäjätutkimusta, mutta jo hypoteeseistasi keskusteleminen voi auttaa sinua ajattelemaan seuraavia iteraatioitasi ja tulevia A/B-testejäsi, jotta voit jatkuvasti optimoida käyttäjäkokemusta.
Käytä A/B-testausta rakentaaksesi tietämystä käyttäjäkunnastasi ajan mittaan
Vaikka jokainen A/B-testi on suunniteltu keräämään tietoa yhdestä tietystä tuoteversiosta ja tekemään reaaliaikainen päätös tietystä asiasta, huomaat, että kun otat A/B-testausmenetelmän osaksi tuotteesi keskeisiä työnkulkuja, kartutat itse asiassa paljon tietoa käyttäjäkunnastasi, jolla voi olla arvoa myös pitkällä aikavälillä.
Tiimisi kannattaa harkita jonkin niinkin yksinkertaisen työkalun kuin taulukkolaskennan tai niinkin kattavan ratkaisun kuin tutkimus- ja kokeilutietokannan käyttämistä kunkin A/B-testin tuloksena syntyvien oivallusten sekä muiden käyttäjiä koskevien sisäisten havaintojen seuraamiseen ja tunnisteiden lisäämiseen.
Ajan mittaan huomaat todennäköisesti toistuvia kaavoja. Jos esimerkiksi jokin tietty toimintakehotepainikkeen väri tai sähköpostin aiherivi on yleensä voittava versio, kyseessä on tietoa, jolla voi olla pitkäaikaista arvoa – etenkin silloin, kun sitä tukevat useamman kuin yhden A/B-testin tulokset. Toinen esimerkki voisi olla se, että tiimisi huomaa tekstimuutosten vaikuttavan vähemmän merkittävästi konversioasteeseen keskittyvissä A/B-testeissä kuin käyttöliittymämuutosten.
Mahdollisuudet ovat rajattomat ja riippuvat suuresti tuotteesi luonteesta, mutta tärkeintä on, että tarkastelet A/B-testien tietoja säännöllisesti. Näin voit paitsi saada oivalluksia juuri sillä hetkellä myös rakentaa tietämystä ajan mittaan.
A/B-testausmatkastasi tulee varmasti antoisa!
A/B-testaus on ylivoimaisesti yksi tehokkaimmista työkaluista, joita käyttäjien parissa työskentelevällä tai tuotealan ammattilaisella on käytössään käyttäjäkokemuksen optimointiin, käyttäjille arvon tuottamiseen sekä keskeisten tavoitteiden saavuttamiseen.
Toivottavasti sinusta tuntuu nyt siltä, että sinulla on tarvittavat tiedot A/B-testausmenetelmän hyödyntämiseen. Jos kuitenkin kaipaat lisää tietoa, tilaa CX Lead -uutiskirje, niin saat säännöllisesti tarkoin valikoituja artikkeleita, jotka voivat auttaa sinua saavuttamaan tavoitteesi.
Hauskoja testejä!
