A/B testing d’objet sur une newsletter : comment s’y prendre et quels résultats espérer ?

Le sujet du A/B testing sur des envois de newsletters revient régulièrement et presque tous les outils d’emailing (Mailchimp, Mailjet, MyEmma et consorts) le proposent. Une fois que l’on a compris comment l’utiliser, c’est presque un peu une drogue (et puis c’est rigolo). Bref, retour sur cette pratique pour voir pourquoi l’utiliser et si elle est bien pertinente.

Déjà, petit retour sur ce qu’est l’A/B testing

Pour celles et ceux qui auraient séché leurs cours de marketing, l’A/B testing est une pratique web qui permet de tester plusieurs variantes d’une page ou d’un email, d’exposer les différentes versions ainsi obtenues de manière aléatoire à un certain nombre de personnes, et de faire remonter ensuite la version la plus efficace.

Sur une page web, on peut ainsi tester tout un tas d’éléments différents pour obtenir (en général 2 à 2, ou sinon avec beaucoup de trafic sur ce que l’on appelle du multi-variate), dans une approche « amélioration continue » pour une performance de plus en plus élevée :

• couleur d’un bouton ;
• image d’entête ;
• libellé d’un call to action ;
• fonctionnalités ou bénéfices à mettre en avant ;
• façon d’annoncer un prix ;
• emplacement des éléments ;
• suppression de certains éléments ;
• …

Pour un email, il y a évidemment plusieurs choses que l’on peut vouloir tester :

• l’objet du mail (ce qui est le principal travail en réalité) ;
• le design ;
• le contenu de l’email ;
• le moment d’envoi ;
• …

Pour un email, le fonctionnement se limite donc très souvent (en tout cas dans les logiciels courants) à des variations d’objet : 2 (ou plus) « sujets » d’emails seront alors rédigés, puis dirigés chacun aléatoirement à une partie de la base d’abonnés ou de contacts. L’idée est de travailler sur une portion de la base totale, et de déduire quelle variation est la plus efficace en termes de taux d’ouverture du mail. La version ayant les meilleurs résultats sera ensuite envoyée au reste de la base qui n’a pas encore été sollicitée.

Voilà pour les présentations, passons à l’action.

Préparer son A/B testing « newsletter »

Voilà, vous avez bien travaillé votre newsletter (note : cela marche en réalité pour tout type d’emails : invitation à des événements, news coporate, push promo, pots de départ…), votre contenu est prêt et vous voilà sur le point de « shooter ». Sueurs froides, mains moites and co… et si l’audience n’était pas au rendez-vous ?

Pas de panique, il est possible de vous donner quelques petites chances de plus… en recourant à l’A/B Testing sur l’objet du mail. Vous allez donc pouvoir shooter 2, 3 ou plus de versions de votre mail en en changeant le « titre » (on recommande de se limiter à 3 max !) et choisir ensuite la plus performante. Voilà probablement quelques % d’ouvertures en plus !

Il vous reste donc à choisir quels sont vos heureux candidats, et voici nos conseils :

• lâchez-vous un peu ! N’ayez pas peur de sortir un peu des sentiers battus et du corporatement correct.
• n’envoyez pas les mêmes objets mail après mail, surprenez vos lecteurs ;
• ne soyez pas non plus sur-vendeur, ne mentez pas juste pour faire ouvrir le mail (vous pâtiriez niveau taux de clic de toute manière et, plus grave, risqueriez de frustrer le lecteur au point qu’il ne vous accorde plus sa confiance et vous mette en spam) ;
• ne vous limitez pas à un certain nombre de caractères reconnus comme « classiques », osez faire très court (quelques caractères, un mot…) mais aussi très long (liste de sujets, phrase qui interpelle…).

Nous avons A/B testé pour vous, voici les résultats…

Nous faisons régulièrement des A/B tests pour nos clients sur leurs différents envois, mais aussi sur nos propres newsletters. Nous avons eu envie de documenter notre dernier en date pour illustrer un peu ce que cela donne. Et les résultats sont un peu surprenants dans leur dynamique, permettant d’apprendre pas mal de choses.

Le contexte : l’envoi de notre newsletter sur le content marketing (près de 2 500 inscrits sur cette liste spécifique – quoi, pas encore vous ???) qui part tous les jeudis. Nous avons choisi cette fois-ci de faire partir la newsletter en tout début d’après-midi. L’animation ci-dessous montre l’évolution, sur les 2 heures du test (l’échantillon test était de 600 personnes et quelques, avec 3 variations donc 200 personnes environ par objet), dans le temps (intéressant de noter la réactivité (ou non) des destinataires à cette heure-là…

Apprentissages (de ce test et d’autres)

Au bout de 2 heures, nous stoppons le test, avec un (court) vainqueur, et pour le coup pas celui que j’aurais imaginé : les 2 000 personnes restantes recevront un mail avec pour objet “LA newsletter content marketing”… qui amènera (stats encore en cours) à un très honorable 29 % de taux d’ouverture, dans la moyenne de notre performance sur cette liste. Pas d’effet « wouahou » genre 15 % d’ouvertures en plus, mais en grappillant quelques % à chaque fois ou en limitant la casse sur des périodes plus creuses, c’est tout de même intéressant, au-delà de l’apprentissage qualitatif que l’on peut en tirer !

En voici d’ailleurs certains, de ces enseignements, tirés de pas mal de tests chez nous et nos clients…

On ne sait pas vraiment ce qui va marcher

Il faut se montrer assez humble avec le A/B testing, et ne pas vouloir y coller ses propres croyances, c’est le meilleur moyen de passer à côté de quelque chose. L’avantage du test justement, c’est qu’il permet de mener une expérience de manière presque un peu scientifique, « sans préjugé sur ce qu’on pense qui va marcher » (c’est très moche grammaticalement, mais vous me suivez ;)…

Ce qui a marché une fois peut ne pas remarcher…

Ce n’est pas parce que vous avez trouvé quelque chose qui semble marcher que ça y est, vous pouvez vous reposer sur vos deux oreilles… Non, ce serait trop simple. Continuez à tester d’autres approches et vous devriez avoir quelques bonnes surprises. Ou en tout cas des surprises !

C’est à prendre avec des pincettes pour les « petites audiences »

En B2B, on a parfois des listes de destinataires qui ne dépassent pas quelques centaines. Compliqué alors d’avoir quelque chose de représentatif et fiable, finalement si vous avez une base de 400 contacts et donc un échantillon de quelques dizaines, les résultats seront très volatiles. Il faudra alors parfois étaler les tests dans le temps pour voir se dégager quelques tendances… ou attendre d’en avoir une plus grosse.

L’A/B testing est une très bonne gymnastique et c’est presque criminel de n’en faire jamais

C’est vrai, à partir du moment où vous avez une base suffisante (1 000 contacts et au-delà), cela ne prend que quelques minutes pour rédiger quelques accroches différentes… Dommage de vous passer de l’apprentissage qui pourrait en découler.

Toujours, toujours, toujours se mettre à la place du lecteur

Quelle que soit votre créativité ou le nombre de mails que vous allez faire partir… l’important est de ne jamais tromper le lecteur et de toujours se demander « quel bénéfice il va retirer de la lecture de mon email ? ». C’est ce qui conditionnera ensuite ce que vous pourrez marquer comme objet et qui orientera vos idées en tout genre. Mais il faut lutter et se faire violence pour vraiment avoir votre lecteur en tête !

Allez, à vous de jouer !

N’hésitez pas à partager vos expériences en matières d’A/B testing de newsletter dans les commentaires ci-dessous !