Como fazer testes A/B em 7 passos (com exemplos)

Quer seja profissional de produto ou marketing, quer trabalhe com essas equipas na área da experiência do cliente, é provável que esteja envolvido em processos fundamentais para melhorar os produtos e o desempenho da sua empresa e que, para isso, utilize as perspetivas dos utilizadores. Uma das ferramentas mais poderosas do seu conjunto de ferramentas é, sem dúvida, o teste A/B.

Porquê? Porque elimina a necessidade de fazer suposições em questões como qual destas versões da funcionalidade apoia melhor os nossos KPIs principais? Quem recusaria a oportunidade de saber com certeza qual versão de uma iteração de produto apoia melhor as suas métricas principais, como a taxa de conversão ou outra métrica de interação?

Resposta: praticamente ninguém. 

Enquanto responsável pela investigação de utilizadores, trabalho com várias equipas que executam testes A/B para compreender o que cada teste nos ensina sobre os utilizadores e como nos pode ajudar a criar melhores iterações de produto no futuro. Vamos explorar o que são os testes A/B, quando e por que motivo deve utilizá-los, como realizá-los e como utilizá-los para criar conhecimento interno sobre a sua base de utilizadores.

O que são os testes A/B: definição e exemplo

Em termos simples, o teste A/B, também conhecido como teste dividido, é um método de comparação entre duas versões de algo para verificar qual apresenta melhor desempenho de acordo com as suas métricas principais. É habitualmente utilizado no desenvolvimento de produtos para testar diferentes variações de um produto ou funcionalidade e os respetivos efeitos nos KPIs.

Num teste A/B, cria duas versões de algo (por exemplo, uma funcionalidade) e atribui aleatoriamente diferentes grupos de utilizadores a cada versão. Ao analisar os resultados do teste, pode determinar qual versão é mais eficaz e utilizar essa informação para tomar decisões baseadas em dados sobre o seu produto.

Eis um exemplo:

Suponhamos que a sua empresa tem uma aplicação móvel que ajuda os utilizadores a planear grandes eventos. A sua equipa tem uma funcionalidade que permite aos utilizadores importar os contactos do telemóvel e enviar convites diretamente por mensagens de texto. Internamente, alguns membros das equipas de produto e de experiência do cliente têm opiniões diferentes sobre quando deve pedir a um utilizador para importar os seus contactos telefónicos: antes ou depois de personalizar o convite por mensagem de texto.  O principal KPI desta funcionalidade específica é a percentagem de utilizadores que iniciam o processo de convite e que, no final, enviam efetivamente os seus convites por mensagem de texto. 

Num teste A/B, a sua equipa desenvolve as duas versões diferentes em questão. A única variável, ou diferença, entre as duas versões é o momento em que aparece a CTA para importar os contactos telefónicos. A sua equipa atribui aleatoriamente dois grupos de utilizadores, recebendo cada um deles uma versão da funcionalidade. Quando tiver dados suficientes—idealmente, alcançando resultados estatisticamente significativos—analisa então cada grupo: qual teve uma percentagem mais elevada de utilizadores que concluíram efetivamente o fluxo e enviaram os seus convites por mensagem de texto? Essa é a versão vencedora, que ativa para todos os utilizadores.

Dica do autor

Também gosto muito de \u003ca href=\u0022https://contentsquare.com/blog/ab-testing-examples/\u0022 rel=\u0022noreferrer noopener\u0022 target=\u0022_blank\u0022\u003eeste recurso com exemplos adicionais de testes A/B\u003c/a\u003e, que pode ajudar a estimular ideias sobre a aplicabilidade dos testes A/B à sua empresa ou organização. Também é útil, quando está na fase de geração de ideias, reservar algum tempo para pesquisar exemplos de testes A/B específicos do seu mercado ou do seu público-alvo.

Por que realizar testes A/B?

É certamente verdade que os testes A/B utilizam muitos recursos—design, desenvolvimento, análise de dados, entre outros. Mas, se analisar os valores e objetivos da maioria das empresas, verá que estão frequentemente muito alinhados com os benefícios dos testes A/B. Vejamos alguns desses objetivos e valores, que podem ajudá-lo a defender um projeto de testes A/B. 

Tomada de decisões baseada em dados

Os testes A/B permitem-lhe tomar decisões baseadas em dados sobre o seu produto, em vez de depender da intuição ou de suposições. Ao testar diferentes variações de uma funcionalidade, pode determinar qual versão é mais eficaz e tomar decisões com base em dados concretos. Ainda não conheci ninguém, em nenhuma equipa de produto e em nenhum lugar, que não aspire a basear-se em dados. Os testes A/B são uma ferramenta essencial para qualquer equipa de produto orientada por dados.

Melhoria da experiência do utilizador

Ao testar diferentes versões de um produto ou funcionalidade, pode identificar formas de melhorar a experiência do utilizador. Isto pode significar tornar um botão mais proeminente na sua aplicação, alterar a cor de uma CTA ou simplificar o processo de pagamento num site de comércio eletrónico. Os resultados dos testes A/B indicam-lhe quais os fluxos, as funcionalidades e as variáveis que funcionam melhor para os seus utilizadores, com base nas métricas principais que definir. Muitas vezes, quando ignoramos os testes A/B, descobrimos que fizemos uma suposição errada e utilizamos ainda mais recursos para corrigir o erro—o que também prolonga o prazo para otimizar uma funcionalidade até alcançar a satisfação dos utilizadores.

Potenciais ganhos de receita

Quando realiza um teste A/B, escolhe a(s) métrica(s) principal(is) com base nas quais decidirá qual é a vencedora quando obtiver os resultados do teste. Isto significa que, se a receita for um dos seus objetivos principais, pode saber com certeza qual versão de um produto ou funcionalidade gera a receita mais elevada.  

Construir conhecimento sobre os utilizadores ao longo do tempo

Falaremos mais sobre isto adiante, mas outro benefício fundamental de integrar testes A/B no seu fluxo de trabalho de produto é que, ao longo do tempo, constrói conhecimento sobre os utilizadores. Não é apenas o facto de cada teste A/B o ajudar a tomar decisões no momento; também lhe ensina algo sobre a forma como os utilizadores interagem com o seu produto, e esse conhecimento pode ser útil em futuros trabalhos de produto.

O processo de testes A/B em 7 passos simples

Cá estamos nós — a parte divertida! Já está convencido de que testar A/B a posição da sua chamada à ação ou a melhor forma de implementar uma nova funcionalidade entusiasmante é o caminho a seguir. Como fazer isso?

Dica do autor

As suas métricas principais podem ser positivas — como aumentar as taxas de abertura da sua lista de e-mails ou aumentar as receitas através de uma experiência de preços — ou podem ter como objetivo reduzir danos, como diminuir as taxas de devolução de e-mails ou as desinstalações de aplicações móveis. Aspetos como a otimização da taxa de conversão são objetivos fundamentais dos testes A/B, mas tenha em mente que existem muitas outras opções.
Antes de avançar pelos restantes passos, certifique-se de que você e a sua equipa definem as métricas com base nas quais determinarão o vencedor, tendo em conta os vossos objetivos gerais.

Passo 2: Identifique a variável a testar

Depois de definir o seu objetivo, o passo seguinte é identificar a variável que pretende testar. Uma variável é a diferença entre as duas versões no seu teste A/B, e vou dizer algo um pouco extremo sobre a variável:

Se tiver mais do que uma variável, os resultados do seu teste A/B ficam limitados quanto àquilo que lhe podem ensinar. 

Se as suas duas versões tiverem mais do que uma diferença entre si, continuará a conseguir saber qual foi a versão vencedora com base na sua métrica principal, mas não saberá porquê, e isso pode tornar-se problemático. Voltemos ao exemplo da nossa página de destino. Cada página tem uma CTA com uma cor de botão diferente e suponhamos que o texto de marketing também é diferente entre as duas versões. Poderá verificar que a versão B afeta mais positivamente os seus KPIs, mas não saberá se isso se deveu à cor do botão, ao texto diferente ou a ambos.

Isto é importante sobretudo porque pode querer fazer futuras iterações, seja com as cores da sua interface de utilizador, seja com o seu texto de marketing. Não saberá o que deve manter e o que pode alterar, nem como formular estrategicamente o seu próximo teste A/B. Assim, a regra é: um teste A/B, uma variável.  

Dito isto, existe algo chamado teste multivariado, que é exatamente o que parece — testar versões de algo que têm várias variáveis. As regras e os passos para executar um teste multivariado são diferentes e estão fora do âmbito deste guia, mas recomendamos este recurso como um excelente ponto de partida.

Sugestão do autor

Uma vez que num teste A/B só tem uma variável, tente escolher uma variável com base na hipótese da sua equipa sobre qual o aspeto da sua funcionalidade ou de outra iteração que irá afetar a sua métrica principal. Por exemplo, se a sua métrica principal for uma taxa de conversão em clientes pagantes, a variável que está a testar deve estar estreitamente relacionada com o local e a forma como os utilizadores decidem se devem ou não pagar pelo seu produto ou serviço.

Passo 4: Configure o seu teste

Garantir que o seu teste está corretamente configurado é um passo crucial. Eis uma lista de verificação rápida de aspetos a ter em conta, que podem ou não ser relevantes para a sua empresa ou organização.

• Verificou ambas as versões da sua página Web/aplicação móvel/funcionalidade para garantir que funcionam corretamente?
• A sua equipa de dados ou de produto sabe que este teste A/B vai ocorrer e reservou tempo para o analisar à medida que os dados forem chegando?
• Tem um painel onde possa monitorizar os principais KPIs e as métricas do comportamento dos utilizadores enquanto o teste A/B decorre? Isto também é importante para garantir que nenhuma das versões está a afetar uma métrica principal de forma drasticamente negativa. Nesse caso, poderá querer interromper o teste e investigar.

Quanto à execução do teste, é possível que a sua equipa de dados já disponha de um mecanismo interno para o fazer. Caso contrário, existe uma grande variedade de ferramentas de testes A/B disponíveis — desde funcionalidades básicas do Google Analytics até plataformas mais complexas, como ferramentas de testes A/B SaaS. Discuta internamente com a sua equipa qual responde melhor às suas necessidades.

Passo 6: Implemente a versão vencedora

Depois de analisar os seus dados, chegou o momento de implementar a versão vencedora do seu teste A/B. Nesta fase, é importante garantir que todas as partes interessadas conhecem os resultados do teste A/B e a forma como determinou a variante vencedora.  Se existir um canal relevante no Slack ou algo semelhante, tanto melhor — acabou de tomar uma decisão sobre a experiência do utilizador e deve garantir que existe transparência relativamente a quando, porquê e como.

Assim que todos tiverem conhecimento da decisão e chegar o momento de avançar, pode pedir à sua equipa técnica e de produto que avance e ative a variante vencedora para todos os utilizadores — e veja a sua métrica principal subir cada vez mais!

Dito isto, o seu trabalho ainda não está inteiramente concluído…

Utilize testes A/B para criar conhecimento sobre a sua base de utilizadores ao longo do tempo

Embora cada teste A/B seja concebido para recolher dados sobre uma iteração específica do produto e tomar uma decisão em tempo real sobre uma questão específica, verá que, assim que incorporar a metodologia de testes A/B nos seus principais fluxos de trabalho do produto, estará, na realidade, a acumular muitos conhecimentos sobre a sua base de utilizadores que também poderão manter-se relevantes ao longo do tempo.

A sua equipa poderá considerar a utilização de algo tão simples como uma folha de cálculo ou tão robusto como um repositório de investigação e experimentação para acompanhar e categorizar as informações obtidas em cada teste A/B, juntamente com outros conhecimentos internos sobre os utilizadores.

Com o tempo, é provável que comece a reparar em padrões. Por exemplo, se houver uma determinada cor de botão CTA ou uma linha de assunto que seja normalmente a variante vencedora, esses são dados com potencial para se manterem relevantes ao longo do tempo, especialmente quando são sustentados por dados de mais do que um teste A/B. Outro exemplo poderá ser a sua equipa perceber que as alterações ao texto tendem a ter um efeito menos significativo nos testes A/B orientados para a taxa de conversão do que as alterações à interface do utilizador.  

As possibilidades são infinitas e dependem muito da natureza do seu produto, mas a ideia geral é que deve rever os dados dos testes A/B com alguma regularidade, para poder não só obter conhecimentos no momento, mas também construir conhecimento ao longo do tempo.

A sua jornada de testes A/B será proveitosa, garantidamente! 

Os testes A/B são, sem dúvida, uma das ferramentas mais poderosas à sua disposição enquanto profissional que trabalha diretamente com utilizadores ou profissional de produto, no que diz respeito à otimização da experiência do utilizador, de forma a proporcionar valor aos seus utilizadores e alcançar as suas principais metas e objetivos.

Esperamos que, a esta altura, sinta que possui os conhecimentos necessários para avançar com a metodologia de testes A/B. Mas, se quiser obter ainda mais conhecimentos, não deixe de subscrever a newsletter da CX Lead para receber regularmente uma seleção de artigos que podem ajudá-lo a alcançar os seus objetivos.

Bons testes!