L’expérience utilisateur (UX) d’un produit est fortement impactée par le design de ce dernier. Il est donc essentiel d’y apporter une attention particulière et de pouvoir être agile, afin de délivrer la meilleure expérience possible à l’utilisateur. Il y a toujours quelque chose à améliorer !
L’A/B Testing est au centre de cette réflexion. C’est Ronald Fisher, biologiste et statisticien anglais de renom, qui est le premier à exposer le concept d’A/B Testing dès 1920. A l’époque on parle simplement de protocoles et d’essais cliniques car c’est un concept restreint au milieu médical et à celui de la recherche. Mais dans les années 1960 le concept fait alors son entrée dans le monde du marketing. Dès 1990 il devient un élément commun du marketing direct, puis un incontournable du marketing digital ces dernières années. C’est aujourd’hui une pratique de test courante, utilisée lors d’une phase d’expérimentation. Elle fait souvent suite à des études préalables qui auront permis de formuler des hypothèses et de déceler des axes d’amélioration.
L’A/B Testing vise à améliorer le design d’un produit (très souvent d’un produit digital comme une application ou un site internet) de manière itérative et incrémentale, en apportant des petits changements souvent et rapidement. Comme par exemple le design d’un CTA (Call To Action).
La plupart du temps, on fait appel à cette pratique pour améliorer le taux de conversion d’un site internet. On peut alors tester en continu et il n’est pas nécessaire d’attendre une refonte totale du site pour l’optimiser. Néanmoins, le concept et la méthode sont déclinables dans beaucoup d’autres champs d’application autres qu’informatiques.
"Thinking of product development as a series of experiments leads to stronger design" N. Iyengar
L’A/B Testing est une pratique courante chez les organisations apprenantes.
En effet, la culture du test et de l’expérimentation en général est bien intégrée dans les entreprises qui pratiquent l’amélioration continue. Dans ces dernières la culture de la mesure est, comme pour un PDCA, essentielle lorsqu’on parle d’A/B Testing. Cela permet de prendre des décisions basées sur des données factuelles. (cf. Le PDCA expliqué en speed ! )
L’A/B Testing consiste à présenter simultanément deux versions de design « A » et « B » d’un produit à des utilisateurs différents. Tester « A » puis tester « B », n’est pas de l’A/B Testing car des facteurs externes différents pourraient fausser les résultats.
Chaque utilisateur ne verra qu’une seule version et cela permet de mieux appréhender les performances d’un design sur un groupe d’utilisateur et « IRL » sur le vrai produit et les vrais utilisateurs. On suit alors les performances de chaque version, dans les mêmes conditions, pour choisir celle qui sera conservée.
De plus, le nombre de versions ou d’éléments testés en test simultané peut être supérieur à deux dans certains cas. C’est pour cela que l’on parle parfois d’A/B Testing « classique » ou en « test multivarié ».
Je vous invite à regarder la vidéo « Design like a scientist : A/B Testing UX, at Netflix » de Navin Iyengar – Lead Product Designer chez Netflix. Les équipes comme celles de Netflix orientent leur design, et apprennent sur le comportement de leurs utilisateurs, en pratiquant l’A/B Testing quasiment au quotidien. Vous comprendrez alors qu’il est important d’observer ce que les gens font réellement avec le produit et ne pas se contenter de ce qu’ils disent, ou comment le design joue un rôle important dans le niveau de satisfaction des clients et donc de la rétention.
Pour rappel, la rétention est la mesure des utilisateurs qui conservent leur abonnement, et non la mesure de ceux qui y souscrivent.
Les étapes de l’A/B Testing :
1) Créer la version « control » : Créer le point de comparaison, la version de référence. Souvent il existe déjà (et c’est la dernière version du produit).
2) Créer les « variations » : Ce sont des variantes du design « control » dont un élément précis diffère. L’emplacement d’un bouton par exemple. S’il y a trop d’éléments modifiés à la fois, il est impossible de savoir quel élément a contribué à faire bouger les résultats, ni en quelle proportion. Il sera donc difficile d’en tirer un quelconque apprentissage ou d’établir un lien de cause à effet.
3) Définir le plan de test :
Nom du test
Dates de début et de fin du test
Description du test réalisé
Description de l’écart observé et/ou objectif auxquels le test répond
Description des mesures choisies (paramètres de récolte et d’analyse des données ; Attention aux « vanity metrics » !)
Photos de la version « control » et des « variations » mises en place
Résultats du test et les apprentissages associés (A remplir en étape 4)
L’estimation des gains espérés grâce à la nouvelle version « control » (A remplir en étape 4)
Une fois le plan de test prêt on peut lancer l’expérimentation puis,
4) Collecter les données : Il convient ici de mesurer l’impact du changement proposé, et donc d’analyser les résultats de chaque version « variation » et de les comparez avec la version « control ». L’analyse peut alors conduire à une prise de décision éclairée afin de garder la version qui donne le meilleur résultat auprès des clients et des objectifs.
5) Intégrer le nouveau « control » : Le design étant itératif, la version « gagnante » ayant obtenue les meilleurs résultats dans la phase 4 de collecte des données est implémentée. Elle devient la nouvelle version « control », et ensuite un dernier check est fait pour valider/clôturer le test.
L’A/B Testing permet donc d’avoir un haut niveau de lucidité. Cela n’est néanmoins possible que si l’on est prêt à remettre ses croyances et préférences, toutes deux subjectives, en question. Grâce aux mesures factuelles on devient confiant quant aux choix effectués. On est alors plus créatif et innovant car on a moins peur de prendre des risques, de remettre l’existant en question, d’essayer, et surtout on apprend et on s’améliore tout le temps !
Auteur: Justine Slimane
Retrouver ses articles sur son site ici