Niezależnie od tego, czy pracujesz jako specjalista ds. produktu lub marketingu, czy współpracujesz z tymi zespołami w obszarze doświadczeń klientów, prawdopodobnie uczestniczysz w kluczowych procesach mających na celu ulepszanie produktów i wyników swojej firmy oraz wykorzystujesz w tym celu perspektywę użytkowników. Jednym z najpotężniejszych narzędzi w Twoim zestawie jest bez wątpienia testowanie A/B.
Dlaczego? Ponieważ eliminuje ono zgadywanie w przypadku pytań takich jak która z tych wersji funkcji najlepiej wspiera nasze kluczowe wskaźniki KPI? Kto zrezygnowałby z możliwości uzyskania pewności, która wersja iteracji produktu najlepiej wspiera kluczowe wskaźniki, takie jak współczynnik konwersji lub inny wskaźnik zaangażowania?
Odpowiedź: prawie nikt.
Jako liderka badań użytkowników współpracuję z wieloma zespołami przeprowadzającymi testy A/B, aby zrozumieć, czego każdy test uczy nas o użytkownikach i jak może pomóc nam w przyszłości lepiej iterować nasze produkty. Przyjrzyjmy się temu, czym jest testowanie A/B, kiedy i dlaczego warto je stosować, jak je przeprowadzać oraz jak wykorzystywać je do budowania wewnętrznej wiedzy o bazie użytkowników.
Czym jest testowanie A/B: definicja i przykład
Mówiąc najprościej, testowanie A/B, znane również jako testowanie dzielone, to metoda porównywania dwóch wersji czegoś w celu sprawdzenia, która z nich działa lepiej zgodnie z kluczowymi wskaźnikami. Jest powszechnie stosowane w tworzeniu produktów do testowania różnych wariantów produktu lub funkcji oraz ich wpływu na wskaźniki KPI.
W teście A/B tworzysz dwie wersje czegoś (na przykład funkcji) i losowo przypisujesz różne grupy użytkowników do obejrzenia każdej z wersji. Analizując wyniki testu, możesz określić, która wersja jest skuteczniejsza, i wykorzystać te informacje do podejmowania decyzji dotyczących produktu na podstawie danych.
Oto przykład:
Załóżmy, że Twoja firma ma aplikację mobilną, która pomaga użytkownikom planować duże wydarzenia. Twój zespół ma funkcję umożliwiającą użytkownikom importowanie kontaktów z telefonu i wysyłanie zaproszeń bezpośrednio za pomocą wiadomości tekstowych. Niektórzy członkowie zespołów produktu i doświadczeń klientów mają różne opinie na temat tego, kiedy należy poprosić użytkownika o zaimportowanie kontaktów z telefonu — przed dostosowaniem zaproszenia tekstowego czy po nim. Głównym wskaźnikiem KPI tej funkcji jest odsetek użytkowników, którzy rozpoczynają proces wysyłania zaproszenia i ostatecznie rzeczywiście wysyłają swoje zaproszenia tekstowe.
W teście A/B Twój zespół opracowuje dwie analizowane wersje. Jedyną zmienną, czyli różnicą między tymi wersjami, jest moment pojawienia się CTA umożliwiającego import kontaktów z telefonu. Twój zespół losowo przypisuje dwie grupy użytkowników, z których każda otrzymuje jedną wersję funkcji. Gdy zbierzesz wystarczającą ilość danych — najlepiej osiągając wyniki istotne statystycznie — porównujesz obie grupy: która z nich miała wyższy odsetek użytkowników, którzy rzeczywiście ukończyli proces i wysłali zaproszenia w wiadomości tekstowej? To zwycięska wersja, którą włączasz dla wszystkich użytkowników.
Wskazówka autora
Bardzo lubię również ten materiał z dodatkowymi przykładami testów A/B, który może pomóc w zastanowieniu się nad zastosowaniem testów A/B w Twojej firmie lub organizacji. Na etapie burzy mózgów warto również poświęcić trochę czasu na wyszukanie przykładów testów A/B dotyczących konkretnie Twojej branży lub grupy docelowej.
Dlaczego warto przeprowadzać testy A/B?
Zdecydowanie prawdą jest, że testowanie A/B wymaga wielu zasobów — projektowania, programowania, analizy danych i tak dalej. Jeśli jednak przyjrzysz się wartościom i celom większości firm, przekonasz się, że często są one bardzo zbieżne z korzyściami płynącymi z testowania A/B. Przyjrzyjmy się niektórym z tych celów i wartości, które mogą pomóc Ci uzasadnić realizację projektu testowania A/B.
Have an account? Log In
Podejmowanie decyzji na podstawie danych
Testowanie A/B pozwala podejmować decyzje dotyczące produktu na podstawie danych, zamiast polegać na intuicji lub zgadywaniu. Testując różne warianty funkcji, możesz określić, która wersja jest skuteczniejsza, i podejmować decyzje w oparciu o konkretne dane. Nie spotkałam jeszcze nikogo w żadnym zespole produktowym, w żadnym miejscu, kto nie chciałby podejmować decyzji na podstawie danych. Testowanie A/B jest kluczowym narzędziem dla każdego zespołu produktowego kierującego się danymi.
Lepsze doświadczenia użytkowników
Testując różne wersje produktu lub funkcji, możesz zidentyfikować sposoby na poprawę doświadczeń użytkowników. Może to oznaczać zwiększenie widoczności przycisku w aplikacji, zmianę koloru CTA lub uproszczenie procesu finalizacji zakupu w sklepie internetowym. Wyniki testów A/B pokazują, które ścieżki, funkcje i zmienne najlepiej sprawdzają się w przypadku użytkowników, na podstawie wybranych przez Ciebie kluczowych wskaźników. Często, gdy pomijamy testowanie A/B, okazuje się, że nasze przypuszczenia były błędne, a na naprawienie pomyłki przeznaczamy jeszcze więcej zasobów — co dodatkowo wydłuża czas potrzebny na optymalizację funkcji w celu osiągnięcia satysfakcji użytkowników.
Potencjalny wzrost przychodów
Przeprowadzając test A/B, wybierasz kluczowy wskaźnik lub kluczowe wskaźniki, na podstawie których wyłonisz zwycięzcę po uzyskaniu wyników testu. Oznacza to, że jeśli przychody są jednym z Twoich kluczowych celów, możesz mieć pewność, która wersja produktu lub funkcji generuje najwyższe przychody.
Budowanie wiedzy o użytkownikach w miarę upływu czasu
Porozmawiamy o tym szerzej później, ale kolejną ważną korzyścią z włączenia testów A/B do procesu pracy nad produktem jest to, że z czasem zdobywasz wiedzę o użytkownikach. Nie chodzi tylko o to, że każdy test A/B pomaga podejmować decyzje w danym momencie, ale także o to, że uczy cię, jak użytkownicy korzystają z produktu, a ta wiedza może pomóc w przyszłych pracach nad produktem.
Proces testowania A/B w 7 prostych krokach
Oto on — najciekawsza część! Masz już przekonanie, że testowanie A/B rozmieszczenia wezwania do działania lub najlepszego sposobu wdrożenia ekscytującej nowej funkcji to właściwe podejście. Jak to zrobić?
Wskazówka autora
Twoje kluczowe metryki mogą być pozytywne — na przykład zwiększenie współczynnika otwarć wiadomości na liście mailingowej lub zwiększenie przychodów dzięki eksperymentowi cenowemu — albo mogą mieć na celu ograniczenie szkód, takich jak zmniejszenie współczynnika odrzuceń wiadomości e-mail lub liczby odinstalowań aplikacji mobilnej. Optymalizacja współczynnika konwersji to jeden z kluczowych celów testów A/B, ale pamiętaj, że istnieje wiele innych możliwości.
Zanim przejdziesz do pozostałych kroków, upewnij się, że ty i twój zespół zdefiniowaliście metryki, na podstawie których wyłonicie zwycięzcę, uwzględniając swoje ogólne cele.
Krok 2: Zidentyfikuj zmienną do przetestowania
Po zdefiniowaniu celu kolejnym krokiem jest zidentyfikowanie zmiennej, którą chcesz przetestować. Zmienna to różnica między dwiema wersjami w teście A/B, a na temat zmiennej powiem coś dość skrajnego:
Jeśli masz więcej niż jedną zmienną, wyniki testu A/B będą miały ograniczoną wartość pod względem tego, czego mogą cię nauczyć.
Jeśli między dwiema wersjami występuje więcej niż jedna różnica, nadal będziesz w stanie określić, która wersja zwyciężyła na podstawie kluczowej metryki, ale nie będziesz wiedzieć dlaczego, a to może powodować problemy. Wróćmy do przykładu strony docelowej. Każda strona ma CTA z przyciskiem w innym kolorze i załóżmy, że tekst marketingowy również różni się między dwiema wersjami. Możesz zauważyć, że wersja B korzystniej wpływa na twoje KPI, ale nie wiesz, czy wynika to z koloru przycisku, innego tekstu, czy z obu tych czynników.
Ma to znaczenie przede wszystkim dlatego, że możesz chcieć wprowadzić kolejne wersje, czy to w kolorach interfejsu użytkownika, czy w tekście marketingowym. Nie będziesz wiedzieć, co jest kluczowe, a co nie, ani jak strategicznie sformułować kolejnego testu A/B. Zasada brzmi więc: jeden test A/B, jedna zmienna.
To powiedziawszy, istnieje coś takiego jak testowanie wielowymiarowe, czyli — zgodnie z nazwą — testowanie wersji czegoś, co ma wiele zmiennych. Zasady i kroki przeprowadzania testu wielowymiarowego są inne i wykraczają poza zakres tego przewodnika, ale ten materiał to świetne źródło na początek.
Wskazówka autora
Ponieważ w teście A/B masz tylko jedną zmienną, spróbuj wybrać ją na podstawie hipotezy swojego zespołu dotyczącej tego, który aspekt funkcji lub innej iteracji wpłynie na kluczowy wskaźnik. Jeśli na przykład Twoim kluczowym wskaźnikiem jest współczynnik konwersji na płatność, testowana zmienna powinna być ściśle związana z miejscem i sposobem, w jaki użytkownicy decydują, czy zapłacić za Twój produkt lub usługę.
Krok 4: Skonfiguruj test
Upewnienie się, że test został prawidłowo skonfigurowany, ma kluczowe znaczenie. Oto krótka lista kontrolna kwestii, na które należy zwrócić uwagę — mogą, ale nie muszą mieć znaczenia dla Twojej firmy lub organizacji.
- Czy sprawdzono obie wersje strony internetowej/aplikacji mobilnej/funkcji, aby upewnić się, że obie działają prawidłowo?
- Czy zespół ds. danych lub produktu wie, że ten test A/B się odbędzie, i czy zarezerwował czas na jego analizę w miarę napływu danych?
- Czy masz pulpit nawigacyjny, na którym można monitorować kluczowe wskaźniki KPI i dane dotyczące zachowania użytkowników podczas trwania testu A/B? Jest to również ważne, aby upewnić się, że żadna z wersji nie wpływa drastycznie negatywnie na kluczowy wskaźnik — w takim przypadku możesz chcieć wyłączyć test i przeprowadzić analizę.
Jeśli chodzi o przeprowadzenie testu, być może Twój zespół ds. danych ma już wewnętrzny mechanizm, który to umożliwia. Jeśli nie, dostępnych jest wiele narzędzi do testów A/B — od podstawowych funkcji Google Analytics po bardziej złożone platformy, takie jak narzędzia SaaS do testów A/B. Omów z zespołem, które z nich najlepiej odpowiada Twoim potrzebom.
More Articles
Krok 6: Wdróż zwycięską wersję
Po przeanalizowaniu danych nadszedł czas na wdrożenie zwycięskiej wersji testu A/B. Na tym etapie ważne jest, aby upewnić się, że wszyscy interesariusze znają wyniki testu A/B i wiedzą, w jaki sposób określono zwycięski wariant. Jeśli istnieje odpowiedni kanał w Slacku lub coś podobnego, tym lepiej — właśnie podjęto decyzję dotyczącą doświadczenia użytkownika, dlatego warto zadbać o przejrzystość w zakresie tego, kiedy, dlaczego i w jaki sposób ją podjęto.
Gdy wszyscy znają decyzję i nadchodzi czas, aby przejść dalej, możesz poprosić zespół techniczny i produktowy o wdrożenie zwycięskiego wariantu dla wszystkich użytkowników — i obserwować, jak Twój kluczowy wskaźnik rośnie coraz bardziej!
To powiedziawszy, Twoja praca nie jest jeszcze całkiem skończona…
Wykorzystuj testy A/B do zdobywania wiedzy o bazie użytkowników z biegiem czasu
Chociaż każdy test A/B jest zaprojektowany tak, aby gromadzić dane dotyczące jednej konkretnej iteracji produktu i podejmować decyzję w czasie rzeczywistym w konkretnej kwestii, zauważysz, że gdy włączysz metodologię testów A/B do głównych procesów pracy nad produktem, w rzeczywistości gromadzisz dużą ilość wiedzy o swojej bazie użytkowników, która może być przydatna również w dłuższej perspektywie.
Twój zespół może rozważyć korzystanie z czegoś tak prostego jak arkusz kalkulacyjny lub tak rozbudowanego jak repozytorium badań i eksperymentów, aby śledzić i oznaczać wnioski z każdego testu A/B, a także inne wewnętrzne spostrzeżenia dotyczące użytkowników.
Z biegiem czasu prawdopodobnie zaczniesz zauważać pewne wzorce. Na przykład jeśli jeden konkretny kolor przycisku CTA lub temat wiadomości jest zwykle zwycięskim wariantem, są to dane, które mogą zachować aktualność przez dłuższy czas, zwłaszcza gdy potwierdzają je dane z więcej niż jednego testu A/B. Innym przykładem może być sytuacja, w której Twój zespół zauważa, że zmiany treści mają zwykle mniejszy wpływ na współczynnik konwersji w testach A/B ukierunkowanych na ten współczynnik niż zmiany interfejsu użytkownika.
Możliwości są nieograniczone i w dużej mierze zależą od charakteru Twojego produktu, ale ogólny wniosek jest taki, że należy regularnie analizować dane z testów A/B, aby nie tylko wyciągać wnioski w danym momencie, lecz także budować wiedzę z biegiem czasu.
Twoja przygoda z testami A/B będzie owocna, gwarantujemy!
Testy A/B to zdecydowanie jedno z najpotężniejszych narzędzi, jakimi dysponujesz jako specjalista zajmujący się użytkownikami lub produktem, jeśli chodzi o optymalizację doświadczeń użytkowników, zapewnianie im wartości oraz realizację kluczowych celów i założeń.
Mamy nadzieję, że teraz czujesz się wystarczająco przygotowany, aby rozpocząć pracę z metodologią testów A/B. Jeśli jednak chcesz zdobyć więcej wiedzy, koniecznie zasubskrybuj newsletter CX Lead, aby regularnie otrzymywać wyselekcjonowane artykuły, które pomogą Ci osiągać Twoje cele.
Udanych testów!