Le sujet du A/B testing sur des envois de newsletters revient régulièrement et presque tous les outils d’emailing (Mailchimp, Mailjet, MyEmma et consorts) le proposent. Une fois que l’on a compris comment l’utiliser, c’est presque un peu une drogue (et puis c’est rigolo). Bref, retour sur cette pratique pour voir pourquoi l’utiliser et si elle est bien pertinente.
Pour celles et ceux qui auraient séché leurs cours de marketing, l’A/B testing est une pratique web qui permet de tester plusieurs variantes d’une page ou d’un email, d’exposer les différentes versions ainsi obtenues de manière aléatoire à un certain nombre de personnes, et de faire remonter ensuite la version la plus efficace.
Sur une page web, on peut ainsi tester tout un tas d’éléments différents pour obtenir (en général 2 à 2, ou sinon avec beaucoup de trafic sur ce que l’on appelle du multi-variate), dans une approche « amélioration continue » pour une performance de plus en plus élevée :
Pour un email, il y a évidemment plusieurs choses que l’on peut vouloir tester :
Pour un email, le fonctionnement se limite donc très souvent (en tout cas dans les logiciels courants) à des variations d’objet : 2 (ou plus) « sujets » d’emails seront alors rédigés, puis dirigés chacun aléatoirement à une partie de la base d’abonnés ou de contacts. L’idée est de travailler sur une portion de la base totale, et de déduire quelle variation est la plus efficace en termes de taux d’ouverture du mail. La version ayant les meilleurs résultats sera ensuite envoyée au reste de la base qui n’a pas encore été sollicitée.
Voilà pour les présentations, passons à l’action.
Voilà, vous avez bien travaillé votre newsletter (note : cela marche en réalité pour tout type d’emails : invitation à des événements, news coporate, push promo, pots de départ…), votre contenu est prêt et vous voilà sur le point de « shooter ». Sueurs froides, mains moites and co… et si l’audience n’était pas au rendez-vous ?
Pas de panique, il est possible de vous donner quelques petites chances de plus… en recourant à l’A/B Testing sur l’objet du mail. Vous allez donc pouvoir shooter 2, 3 ou plus de versions de votre mail en en changeant le « titre » (on recommande de se limiter à 3 max !) et choisir ensuite la plus performante. Voilà probablement quelques % d’ouvertures en plus !
Il vous reste donc à choisir quels sont vos heureux candidats, et voici nos conseils :
Nous faisons régulièrement des A/B tests pour nos clients sur leurs différents envois, mais aussi sur nos propres newsletters. Nous avons eu envie de documenter notre dernier en date pour illustrer un peu ce que cela donne. Et les résultats sont un peu surprenants dans leur dynamique, permettant d’apprendre pas mal de choses.
Le contexte : l’envoi de notre newsletter sur le content marketing (près de 2 500 inscrits sur cette liste spécifique – quoi, pas encore vous ???) qui part tous les jeudis. Nous avons choisi cette fois-ci de faire partir la newsletter en tout début d’après-midi. L’animation ci-dessous montre l’évolution, sur les 2 heures du test (l’échantillon test était de 600 personnes et quelques, avec 3 variations donc 200 personnes environ par objet), dans le temps (intéressant de noter la réactivité (ou non) des destinataires à cette heure-là…
Au bout de 2 heures, nous stoppons le test, avec un (court) vainqueur, et pour le coup pas celui que j’aurais imaginé : les 2 000 personnes restantes recevront un mail avec pour objet “LA newsletter content marketing”… qui amènera (stats encore en cours) à un très honorable 29 % de taux d’ouverture, dans la moyenne de notre performance sur cette liste. Pas d’effet « wouahou » genre 15 % d’ouvertures en plus, mais en grappillant quelques % à chaque fois ou en limitant la casse sur des périodes plus creuses, c’est tout de même intéressant, au-delà de l’apprentissage qualitatif que l’on peut en tirer !
En voici d’ailleurs certains, de ces enseignements, tirés de pas mal de tests chez nous et nos clients…
Il faut se montrer assez humble avec le A/B testing, et ne pas vouloir y coller ses propres croyances, c’est le meilleur moyen de passer à côté de quelque chose. L’avantage du test justement, c’est qu’il permet de mener une expérience de manière presque un peu scientifique, « sans préjugé sur ce qu’on pense qui va marcher » (c’est très moche grammaticalement, mais vous me suivez ;)…
Ce n’est pas parce que vous avez trouvé quelque chose qui semble marcher que ça y est, vous pouvez vous reposer sur vos deux oreilles… Non, ce serait trop simple. Continuez à tester d’autres approches et vous devriez avoir quelques bonnes surprises. Ou en tout cas des surprises !
En B2B, on a parfois des listes de destinataires qui ne dépassent pas quelques centaines. Compliqué alors d’avoir quelque chose de représentatif et fiable, finalement si vous avez une base de 400 contacts et donc un échantillon de quelques dizaines, les résultats seront très volatiles. Il faudra alors parfois étaler les tests dans le temps pour voir se dégager quelques tendances… ou attendre d’en avoir une plus grosse.
C’est vrai, à partir du moment où vous avez une base suffisante (1 000 contacts et au-delà), cela ne prend que quelques minutes pour rédiger quelques accroches différentes… Dommage de vous passer de l’apprentissage qui pourrait en découler.
Quelle que soit votre créativité ou le nombre de mails que vous allez faire partir… l’important est de ne jamais tromper le lecteur et de toujours se demander « quel bénéfice il va retirer de la lecture de mon email ? ». C’est ce qui conditionnera ensuite ce que vous pourrez marquer comme objet et qui orientera vos idées en tout genre. Mais il faut lutter et se faire violence pour vraiment avoir votre lecteur en tête !
Allez, à vous de jouer !
N’hésitez pas à partager vos expériences en matières d’A/B testing de newsletter dans les commentaires ci-dessous !