Les 10 erreurs que les entreprises font constamment lors des tests A/B

L’A/B testing est un processus fascinant. Surtout en tenant compte du large choix d’outils qui existe maintenant et qui facilite un test pratiquement sans effort. Cependant, il y a des entreprises qui ne le réalisent pas. Soit elles ne savent pas du tout comment effectuer ce test, soit mécontents des premiers résultats et ne sachant plus quoi faire pour passer à l’étape suivante. En règle générale, la plupart de telles actions représentent les conséquences de mauvaises décisions prises avant, pendant ou après le test. Heureusement, elles peuvent être évitées.

Erreur un. La durée du test est trop courte

La notification statistique est ce qui vous fait comprendre que la version A est meilleure par comparaison à la version B (à condition que l’échantillon soit assez grand).
Vous menez une expérience scientifique. Et je suis sûr qu’il est important pour vous d’obtenir des résultats fiables. Mais les gens ont tendance à s’attacher à leur hypothèse ou à la version de leur conception, et l’idée que la meilleure hypothèse n’est presque pas meilleure que la version actuelle est très douloureuse et difficile à accepter.
Mais la vérité est au-dessus de tout le reste, sinon cela perd tout son sens.
Il arrive souvent qu’une entreprise effectue des tests pendant une année entière, l’un après l’autre, elle met en pratique des innovations, mais la conversion ne change pas. Et c’est toujours comme ça.
Pourquoi? Parce que les tests ont été arrêtés trop tôt ou que l’échantillon n’était pas assez grand. Vous ne devriez pas arrêter le testing jusqu’à ce que vous atteigniez un record de 95% ou plus. Un taux de 95% signifie qu’il n’y a que 5% de chances que les résultats soient un pur hasard.
Méfiez-vous toujours des tests A/B qui se terminent trop rapidement et revérifiez toujours toutes les données. Le pire est de se focaliser sur des données qui ne sont pas vraiment exactes. Cela entraîne une perte d’argent et de temps.

Erreur deux. Les tests ne s’exécutent pas pendant des semaines complètes

Supposons qu’il y ait un bon trafic sur le site, et en trois jours, nous avons réussi à obtenir 250 conversions avec un record de 98%. Faut-il stopper le testing? NON ! Il ne faut pas.
Vous avez commencé le test un lundi? Alors, finissez un lundi. Pourquoi? La conversion peut varier en fonction du jour de la semaine.
Si le test dure moins d’une semaine, vous risquez d’obtenir des résultats erronés. Consultez le rapport de conversion de Google Analytics sur les jours de la semaine. Les fluctuations peuvent être importantes.
Si le test n’est pas effectué pendant une semaine, les résultats ne seront pas fiables. Voici donc ce que vous devriez faire: exécuter des tests pendant 8 jours au moins. Si les résultats ne sont pas atteints dans les premiers 8 jours, prorogez le test pour la même période. S’il n’y a pas encore de résultat, faites-le 8 jours de plus.
Le seul cas où on peut faire une exception, c’est quand les données montrent que chaque jour la conversion ne change pas. Même dans ce cas, il est toujours préférable d’observer les une semaine.
Faites toujours attention aux facteurs externes, tels que la saisonnalité et les fêtes.
C’est la saison de Noël? Il est probable que les tests que vous effectuez en ce moment-là ne montreront pas les mèmes résultats exceptionnels en janvier. Si vous avez lancé un test pendant une période de forte demande, répétez-le quand elle est terminée. Vous êtes en train de réaliser une campagne publicitaire à grande échelle? Elle peut également fausser les résultats du test. Les facteurs externes affectent toujours les résultats de tests. Vous avez des doutes? Faites un autre test.

Erreur trois. Les split tests sont effectués même en absence de trafic et de conversions

N’utilisez pas les tests A/B pour optimiser les conversions si vous avez peu de trafic. La raison en est que même si la version B semble meilleure pour obtenir des résultats remarquables, cela prendra plus de temps.
Au lieu de cela, vous devriez simplement passer à la version B sans test. Mettez-la en pratique et surveillez les résultats. L’idée est d’obtenir une grande hausse de 50-100%.

Erreur quatre. Les tests ne sont pas toujours basés sur une hypothèse

Les idées à tester n’apparaissent pas tout simplement. Ils sont basés sur des hypothèses.
Il arrive très souvent qu’une entreprise choisisse comme idée de test la première chose qui lui vient à l’esprit. Alors, il se passe quelque chose comme une expérience avec des spaghettis — on les jette dans le mur, juste pour voir s’ils collent ou non. C’est-à-dire que nous testons simplement une idée aléatoire.
Les idées aléatoires coûtent chères: elles prennent un temps précieux et du trafic. Ne faites jamais cela. Vous devez avoir une hypothèse. Qu’est-ce que c’est, d’ailleurs?
Une hypothèse est “une proposition visant à fournir une explication vraisemblable d’un ensemble de faits, et qui doit être soumise au contrôle de l’expérience ou vérifiée dans ses conséquences” (www.larousse.fr).
Et cela ne devrait pas être une hypothèse de “style spaghettis”. Il est nécessaire de faire une analyse, de déterminer quels problèmes peuvent surgir et où il faut réaliser une étude pour en trouver la cause, tout en construisant une hypothèse pour les résoudre.
Si vous testez la version A contre la version B sans avoir une hypothèse claire et la version B s’avère être meilleure à 15%, qu’en apprendrez-vous? Rien.

Erreur cinq. Les données ne sont pas chargées dans Google Analytics

Les chiffres moyens ne sont pas toujours fiables, n’oubliez pas cela. Si la version A est meilleure que la version B de 10%, cela ne dit pas tout. Vous devez segmenter les données de test dans Google Analytics pour trouver des informations importantes.
La segmentation intégrée est également disponible dans l’outil Optimizely, mais sa fonctionnalité est vraiment limitée que celle dans Google Analytics. Visual Website Optimizer vous permet de configurer un chargement automatique des données dans Google Analytics pour chaque test effectué.

Erreur six. Vous gaspillez le temps et le trafic pour des tests inutiles

Vous testez des couleurs? Arrêtez. Ne perdez pas de temps et du trafic sur des expériences sans intérêt, simplement parce que quelqu’un en a profité. Testez des hypothèses basées sur des données réelles.

Erreur sept. Vous abandonnez après la première tentative sans succès

Vous avez fait un test, cela n’a pas marché. Faut-il passer aux tests d’une autre page?
Pas si vite. La plupart des “premiers” tests échouent. Mais il faut les répéter. Vous avez lancé un test. Vous avez tiré la conclusion appropriée, vous avez amélioré votre hypothèse. Exécutez un autre test tout de suite, tirez des conclusions et améliorez l’hypothèse. Ensuite, exécutez un autre test, etc.
Si vous pensez que le premier test dépassera toutes les attentes, ce sera une perte de temps et de ressources.

Erreur huit. Vous effectuez plusieurs tests en même temps avec une superposition de trafic

Vous avez décidé d’exécuter plusieurs tests en même temps sur votre site de boutique en ligne. L’un sur la page du produit, l’autre sur la page de consultation du panier, le troisième sur la page d’accueil, etc. Vous essayez de gagner du temps, n’est-ce pas?
C’est en vain. Vous déformerez les résultats tout simplement. Si vous souhaitez tester une nouvelle version de plusieurs pages à la fois, comme la page d’accueil, la page du produit et la page de vérification, vous devez utiliser des tests de plusieurs pages créés spécifiquement pour cela.

Erreur neuf. Vous négligez les petits progrès

Imaginons que, selon les résultats d’une expérience, la variante de test nous permet d’augmenter les performances actuelles de 4%. Beaucoup de personnes diront: “très peu avantageux or Pas du tout avantageux! Je ne vais pas me fatiguer pour cette mise à jour.”
Mais la vérité est que si le site est bon, vous n’aurez toujours pas de résultats significatifs. En fait, vous les aurez très rarement. Si le site n’est pas très bon, il est possible que la plupart des tests permettent une amélioration de 50% chaque fois. Mais, cela ne durera pas.
La plupart des tests réussis donnent de faibles résultats de 1%, 5%, 8%. Parfois, même une amélioration de 1% peut entraîner des millions de revenus. Tout dépend des chiffres que nous traitons. Le but principal doit être perçu avec une perspective d’un an.
Un test n’est qu’un test. Vous en ferez d’autres. Si vous augmentez votre conversion de 5% chaque mois, dans 12 mois, le taux de conversion initial augmentera de 80%.
C’est pourquoi il faut faire attention aux petites victoires. Finalement, vous finirez par en avoir plus.

Erreur dix. Les tests ne sont pas effectués en permanence

Un jour sans test signifie une perte de temps. Le test c’est un apprentissage. Vous apprenez beaucoup sur votre public et sur le fonctionnement de votre site. Après, vous pourrez utiliser tout cela en marketing, dans le contexte, etc.
Vous ne saurez pas si ça marche ou pas sans tester.
Et n’oubliez pas que les tests nécessitent du trafic et du temps, une étude approfondie, une hypothèse, etc.