IMPAQT #05 - Comment réaliser une campagne A/B test efficace ?

Et si on  te disait que nous utilisons parfois la science dans le Product Management ? La méthode dont nous allons te parler est initialement utilisée en biologie et a depuis fait ses preuves auprès des équipes produit et marketing : il s'agit du fameux AB test, qui sera à l'honneur dans l'épisode 5 d'IMPAQT ! Notre invité Clément Caillol, Head of Product chez Monisnap (ex ManoMano), nous dit tout sur cet outil et sur la manière de l'utiliser de façon pertinente et efficace.
‍

Les conseils pour réussir ses premiers tests d'A/B testing

L'AB test est un outil d'aide à la décision. Il permet de comparer deux versions d'un même produit, d'une même fonctionnalité ou d'une même interface dans le but de déterminer la plus efficace. Comme expliqué en vidéo, il faut se baser sur une première version pour ensuite la comparer. L'AB test est donc très utile notamment en phase d'exploitation, aussi dite phase de run, pour apporter une amélioration à la situation initiale.  

Clément nous donne ses 6 étapes pour construire un AB test efficace :

1. Trouver une hypothèse : elle donnera lieu à un KPI, par exemple : le taux d'ouverture d'un mail.
2. Identifier le standard : quelle est la situation actuelle que nous souhaitons améliorer ? Pour reprendre notre exemple, aujourd'hui le taux d'ouverture est de 2%. Ensuite, trois pré-requis sont nécessaires avant de se lancer, afin de limiter les biais et de ne pas comparer des pommes avec des carottes.
3. Définir un minimum effet détectable : à quel moment les résultats mesurés sont considérés comme viables ? Pour cela, il faut définir une fourchette de résultats comprise entre deux extrêmes. Exemple : un taux d'ouverture moyen compris entre 0,5% et 4%.
4. ‍Définir le nombre d'observations nécessaires : combien de sujets souhaitons nous pour l'expérience ? Cela est fortement définit par le minimum effet détectable choisit. Plus la fourchette définie est serrée, plus nous aurons besoin d'observations.
5. Choisir des populations comparables : les deux groupes doivent être de même taille et avoir sensiblement les mêmes comportements et usages.
   Une fois tous les ingrédients réunis... c'est parti !
6. Lancer l'AB test, et ne pas regarder les résultats tant qu'on n'a pas atteint le nombre d'observations défini précédemment, pour ne rien biaiser !

Tout cela te paraît compliqué ? Pas de panique ! L'outil Evan's Awesome A/B Tools calcule pour toi le nombre de sujets nécessaires et l'intervalle de confiance de votre AB test !  De plus, Clément te livre dans un article dédié une méthodologie condensée en 4 étapes et te donne plein d'autres astuces en vidéo pour te lancer sans embûche. A votre tour : faites parler les statistiques !

IMPAQT est notre format court qui répond à un sujet Product Quality Management. À chaque épisode, un expert du Produit te partage en vidéo sa connaissance sur un sujet précis au travers son expérience.