Comment réaliser des tests A/B en 7 étapes (avec exemples)
Que vous soyez un professionnel du produit ou du marketing, ou que vous collaboriez avec ces équipes dans le cadre de l'expérience client, il est probable que vous participiez à des processus clés visant à améliorer les produits et la performance de votre entreprise, en utilisant les points de vue des utilisateurs pour y parvenir. L'un des outils les plus puissants de votre boîte à outils est sans aucun doute, absolument, sans réserve, le test A/B.
Pourquoi ? Parce qu’il élimine les conjectures dans des questions telles que laquelle de ces versions de fonctionnalités soutient le mieux nos KPIs clés ? Qui refuserait la possibilité de savoir avec certitude quelle version d'une itération de produit soutient le mieux ses indicateurs clés, comme le taux de conversion ou tout autre indicateur d'engagement ?
Réponse : pratiquement personne.
Unlock the CX Vault
Sign up for free to access all CX Lead articles, exclusive events, premium resources, our expert newsletter, and more!
Already a member? Log In
En tant que Responsable Recherche Utilisateur, je travaille avec plusieurs équipes qui exécutent des tests A/B afin de comprendre ce que chaque test nous apprend sur les utilisateurs et comment il peut nous aider à réaliser de meilleures itérations produit à l’avenir. Plongeons ensemble dans ce qu'est le test A/B, quand et pourquoi l'utiliser, comment le mettre en place, et comment il contribue à construire une connaissance interne de votre base d'utilisateurs.
Qu'est-ce que le test A/B : définition et exemple
En termes simples, le test A/B, également appelé test fractionné, est une méthode qui consiste à comparer deux versions d’un même élément pour déterminer laquelle est la plus performante selon vos métriques clés. Il est couramment utilisé dans le développement produit pour tester différentes variations d'un produit ou d'une fonctionnalité et leurs effets respectifs sur les KPIs.
Dans un test A/B, vous créez deux versions d’un élément (par exemple, une fonctionnalité) et assignez de façon aléatoire différents groupes d’utilisateurs à chacune des versions. En analysant les résultats du test, vous pouvez déterminer laquelle des versions est la plus efficace et utiliser ces informations pour prendre des décisions fondées sur des données concernant votre produit.
Voici un exemple :
Supposons que votre entreprise possède une application mobile qui aide les utilisateurs à organiser de grands événements. Votre équipe dispose d’une fonctionnalité permettant d’importer les contacts du téléphone des utilisateurs et d'envoyer des invitations par SMS. En interne, certains membres des équipes produit et expérience client ont des opinions divergentes sur le moment où il faut demander à un utilisateur d'importer ses contacts : avant ou après qu'il ait personnalisé le texte de l'invitation. Le KPI principal de cette fonctionnalité est le % d’utilisateurs ayant démarré le processus d’invitation qui, au final, envoient réellement leurs invitations par SMS.
Dans un test A/B, votre équipe développe les deux versions en question. La seule variable – c’est-à-dire la seule différence – entre les deux versions est le moment où l’appel à l'action (CTA) pour importer les contacts du téléphone apparaît. Votre équipe assigne au hasard deux groupes d’utilisateurs, chacun recevant une version de la fonctionnalité. Une fois que vous disposez de suffisamment de données — idéalement jusqu’à obtenir des résultats statistiquement significatifs — vous examinez chaque groupe : lequel a eu le pourcentage le plus élevé d’utilisateurs ayant terminé le parcours et envoyé leurs invitations par SMS ? C’est cette version qui est gagnante, et vous l’activez pour l’ensemble des utilisateurs.
Pourquoi faire des tests A/B ?
Il est vrai que les tests A/B consomment de nombreuses ressources — design, développement, analyse de données, etc. Mais si l’on examine les valeurs et objectifs de la plupart des entreprises, on constate qu’ils sont souvent très alignés avec les bénéfices du test A/B. Examinons quelques-uns de ces objectifs et valeurs, qui pourront vous aider à défendre votre projet de test A/B.
Prise de décision basée sur les données
Le test A/B permet de prendre des décisions fondées sur des données concrètes concernant votre produit, plutôt que de se fier à l’intuition ou au hasard. En testant différentes versions d’une fonctionnalité, vous pouvez déterminer celle qui fonctionne le mieux et faire vos choix sur la base de données objectives. Je n’ai jamais rencontré dans aucune équipe produit quelqu’un qui ne souhaite pas être guidé par la donnée. Le test A/B est un outil incontournable pour toute équipe produit pilotée par la data.
Expérience utilisateur améliorée
En testant plusieurs versions d’un produit ou d’une fonctionnalité, vous identifierez des pistes pour optimiser l’expérience utilisateur. Cela peut consister, par exemple, à rendre un bouton plus visible dans votre application, changer la couleur d’un CTA, ou simplifier le parcours d’achat d’un site e-commerce. Les résultats de test A/B vous diront quels parcours, fonctionnalités et variables fonctionnent le mieux pour vos utilisateurs selon les métriques choisies. Souvent, lorsqu’on fait l’impasse sur les tests A/B, on découvre ensuite qu’on s’est trompé et on consomme alors encore plus de ressources pour corriger l’erreur — ce qui rallonge également les délais pour atteindre la satisfaction utilisateur avec une fonctionnalité.
Gains de revenus potentiels
Lorsque vous menez un test A/B, vous choisissez l’indicateur clé sur lequel sera désigné le vainqueur lorsque vous analyserez les résultats. Cela signifie que si l’un de vos objectifs principaux est le revenu, vous pourrez réellement savoir quelle version d’un produit ou d’une fonctionnalité génère le plus de revenus.
Capitaliser sur la connaissance utilisateur dans le temps
Nous en reparlerons plus loin, mais un autre atout majeur de l’intégration des tests A/B au process produit, c’est qu’avec le temps, vous accumulez de la connaissance sur vos utilisateurs. Ce n’est pas seulement que chaque test A/B vous permet de décider sur le moment, il vous enseigne aussi comment vos utilisateurs interagissent avec votre produit — et cette connaissance vous servira sur de prochains cycles produit.
Le processus de test A/B en 7 étapes simples
Nous y sommes — le côté fun ! Vous êtes déjà convaincu que tester la position de votre call-to-action ou la meilleure façon de lancer une nouvelle fonctionnalité excitante via un test A/B est le choix idéal. Mais concrètement, comment procéder ?
Étape 1 : Définir votre objectif
Avant de lancer un test A/B, il est essentiel de définir votre objectif. Qu’espérez-vous accomplir grâce à ce test ? Le point clé ici est que votre objectif doit être une métrique. Autrement dit, il doit être possible de chiffrer dans quelle mesure chaque variable surpasse l’autre.
Par exemple :
Offrir une expérience utilisateur plus fluide est un objectif louable, mais cela ne suffit pas en tant qu’objectif d’un test A/B. Admettons que vous avez une boutique en ligne. Un bon objectif pour un test A/B serait quelque chose comme : augmenter le % d’utilisateurs qui finalisent le processus d’achat et réalisent un achat ou, simplement, le taux de conversion « payant ». C’est mesurable, et c’est probablement un indicateur qui correspond à vos objectifs business globaux.
Ou, admettons que vous souhaitez optimiser un élément précis de votre stratégie marketing via un test A/B. Vous pouvez diffuser deux versions d’une landing page comportant chacune un message de campagne marketing, mais chacune avec une couleur différente pour le principal bouton CTA. L’objectif de votre test A/B pourra alors être le taux de clic (CTR) sur ce bouton.
Étape 2 : Identifier la variable à tester
Une fois votre objectif défini, l’étape suivante consiste à identifier la variable que vous souhaitez tester. La variable est la différence entre les deux versions de votre test A/B et voici un principe essentiel :
Si vous testez plus d’une variable, l’enseignement que vous pourrez tirer de votre A/B test sera limité.
Si vos deux versions présentent plus d’une différence, vous saurez certes laquelle des deux l’emporte sur la métrique clé, mais sans comprendre pourquoi — et cela peut être problématique. Reprenons l’exemple de la landing page : chaque page a un CTA de couleur différente et le message marketing diffère d’une version à l’autre. Vous verrez peut-être que la version B améliore davantage vos KPIs, mais impossible de déterminer si c’est la couleur, le texte ou l’association des deux.
C’est d’autant plus important si, à l’avenir, vous souhaitez faire d’autres itérations — sur les couleurs de l’UI ou le copywriting marketing par exemple : vous ne saurez pas quoi préserver ou non, ni comment construire stratégiquement votre prochain test A/B. C’est pourquoi la règle est : un test A/B, une seule variable.
Ceci dit, il existe ce qu’on appelle des tests multivariés : il s’agit bien de tester plusieurs variables dans différentes versions. Les règles et étapes sont différentes et sortent du cadre de ce guide, mais nous recommandons cette ressource pour vous lancer.
Étape 3 : Créez vos variantes
Vous avez maintenant défini vos objectifs et déterminé quelle sera l’unique variable qui différenciera vos deux versions. C’est le moment où vos designers et développeurs entrent en scène pour créer les deux versions.
Quand vous planifiez votre test A/B et informez les parties prenantes du moment où elles pourront voir les résultats, assurez-vous de consulter les équipes design et développement sur les délais : combien de temps leur faudra-t-il pour créer les deux versions dont vous avez besoin ?
Étape 4 : Mettez en place votre test
S'assurer que votre test est correctement configuré est une étape cruciale. Voici une liste de contrôle rapide des éléments à surveiller, qui peuvent être plus ou moins pertinents selon votre entreprise ou organisation.
- Avez-vous vérifié que les deux versions de votre page web/application mobile/fonctionnalité fonctionnent correctement ?
- Votre équipe data ou produit est-elle au courant que ce test A/B va avoir lieu, et a-t-elle prévu le temps nécessaire pour l’analyser à mesure que les données arrivent ?
- Avez-vous un tableau de bord où les principaux indicateurs clés de performance (KPI) et métriques de comportement utilisateur peuvent être surveillés pendant le déroulement du test A/B ? C’est également important pour s’assurer qu’aucune des versions n’affecte drastiquement un indicateur clé de manière négative, auquel cas vous voudrez peut-être interrompre le test et enquêter.
En ce qui concerne l’exécution de votre test, il se peut que votre équipe data dispose déjà d’un mécanisme interne pour le faire. Sinon, il existe une grande variété d’outils de test A/B—tout, depuis les fonctionnalités de base de Google Analytics jusqu’aux plateformes plus complexes comme des outils de test A/B SaaS. Discutez en interne avec votre équipe afin de décider ce qui répond le mieux à vos besoins.
Étape 5 : Collectez et analysez vos données
Consultez votre équipe data interne pour déterminer quand vous aurez atteint la signification statistique—c’est-à-dire qu’un nombre suffisant d’utilisateurs a été exposé à l’une des versions de votre test A/B pour que vous puissiez tirer des conclusions fiables sur la taille de l’échantillon actuelle. Vous voulez éviter de prendre une décision trop tôt, alors que les groupes d'utilisateurs n’étaient pas assez grands pour que vos conclusions soient pertinentes.
Une fois qu’ils vous donnent le feu vert, travaillez avec eux pour examiner les résultats du test. Vous avez déjà défini vos indicateurs clés pour déterminer la version gagnante, donc cette étape devrait être relativement rapide et simple.
Étape 6 : Mettez en place la version gagnante
Après avoir analysé vos données, il est temps d’implanter la version gagnante de votre test A/B. À ce stade, il est important de s’assurer que toutes les parties prenantes sont informées des résultats du test A/B et de la façon dont vous avez déterminé la variante gagnante. S’il existe un canal Slack pertinent ou un outil similaire, c’est encore mieux : vous venez de prendre une décision concernant l’expérience utilisateur et vous voulez garantir la transparence sur le moment, le pourquoi et le comment.
Une fois que tout le monde est au courant de la décision et qu’il est temps d’avancer, vous pouvez demander à vos équipes techniques et produit d’activer la variante gagnante pour tous les utilisateurs—et admirer vos indicateurs clés grimper encore et encore !
Cela dit, votre travail n’est pas tout à fait terminé…
Étape 7 : Itérez et optimisez
Il est vrai que l’essentiel de votre test A/B est terminé à cette étape, mais il reste important de prendre du temps pour comprendre ce que vous avez appris et réfléchir aux futures itérations de ce que vous avez testé. N’oubliez pas que le fait que votre variante gagnante ait été meilleure que l’autre selon vos objectifs de test ne veut pas dire qu’il n’existe pas encore une meilleure version à tester lors de votre prochaine campagne A/B.
Discutez avec toutes les personnes impliquées dans votre test A/B, et analysez la variable de votre test—quelles sont vos hypothèses sur la raison pour laquelle la version gagnante a le plus positivement influencé votre KPI ? Qu’est-ce qui, dans la version perdante, l’a rendue inférieure dans ce cas ? Il ne sera pas possible de le savoir avec certitude sans effectuer quelques recherches utilisateurs qualitatives, mais même une simple discussion autour de vos hypothèses peut vous aider à planifier vos prochaines itérations et futures expériences A/B, afin d’optimiser continuellement l’expérience utilisateur.
Utilisez les tests A/B pour enrichir vos connaissances sur votre base d’utilisateurs au fil du temps
Même si chaque test A/B est conçu pour récolter des données sur une itération spécifique de produit et permettre de trancher en temps réel sur un sujet précis, vous constaterez qu’en intégrant la méthodologie de test A/B dans vos processus produits, vous accumulez au final beaucoup de connaissances sur votre base d’utilisateurs qui pourraient également s’avérer précieuses sur la durée.
Votre équipe pourra choisir un simple tableau Excel ou une plateforme robuste de gestion de la recherche et de l’expérimentation afin de suivre et de taguer les insights de chaque test A/B, en complément d’autres apprentissages internes concernant vos utilisateurs.
À terme, il est probable que vous remarquerez des tendances. Par exemple, s’il y a une couleur de bouton CTA ou un objet d’email qui ressort régulièrement comme variante gagnante, cela représente des informations à valeur pérenne—surtout si elles sont étayées par plusieurs tests A/B. Autre exemple : constater que les modifications de texte semblent avoir un effet moins significatif sur les tests A/B orientés conversion, comparé à des changements d’interface.
Les possibilités sont infinies et fortement dépendantes de la nature de votre produit, mais l’idée générale reste que vous gagnerez à consulter les données des tests A/B de façon régulière afin d’en tirer des enseignements immédiats, mais aussi pour construire vos connaissances sur la durée.
Votre parcours de test A/B sera enrichissant, garanti !
Le test A/B est sans conteste l’un des outils les plus puissants à votre disposition en tant que professionnel produit ou orienté utilisateur pour optimiser l’expérience client, offrir plus de valeur à vos utilisateurs et atteindre vos objectifs clés.
Espérons qu’à ce stade vous vous sentez prêt à adopter la méthodologie des tests A/B. Mais si vous souhaitez aller encore plus loin, n’hésitez pas à vous abonner à la newsletter de CX Lead pour recevoir régulièrement des articles sélectionnés pour vous aider à atteindre vos objectifs.
Bon test !
