A/B testing d’objet sur une news­let­ter : comment s’y prendre et quels résul­tats espé­rer ?

Le sujet du A/B testing sur des envois de news­let­ters revient régu­liè­re­ment et presque tous les outils d’emai­ling (Mail­chimp, Mailjet, MyEmma et consorts) le proposent. Une fois que l’on a compris comment l’uti­li­ser, c’est presque un peu une drogue (et puis c’est rigolo). Bref, retour sur cette pratique pour voir pourquoi l’uti­li­ser et si elle est bien perti­nente.

Déjà, petit retour sur ce qu’est l’A/B testing

Pour celles et ceux qui auraient séché leurs cours de marke­ting, l’A/B testing est une pratique web qui permet de tester plusieurs variantes d’une page ou d’un email, d’ex­po­ser les diffé­rentes versions ainsi obte­nues de manière aléa­toire à un certain nombre de personnes, et de faire remon­ter ensuite la version la plus effi­cace.

Sur une page web, on peut ainsi tester tout un tas d’élé­ments diffé­rents pour obte­nir (en géné­ral 2 à 2, ou sinon avec beau­coup de trafic sur ce que l’on appelle du multi-variate), dans une approche « amélio­ra­tion conti­nue » pour une perfor­mance de plus en plus élevée :

  • couleur d’un bouton ;
  • image d’en­tête ;
  • libellé d’un call to action ;
  • fonc­tion­na­li­tés ou béné­fices à mettre en avant ;
  • façon d’an­non­cer un prix ;
  • empla­ce­ment des éléments ;
  • suppres­sion de certains éléments ;

Pour un email, il y a évidem­ment plusieurs choses que l’on peut vouloir tester :

  • l’objet du mail (ce qui est le prin­ci­pal travail en réalité) ;
  • le design ;
  • le contenu de l’email ;
  • le moment d’en­voi ;

Pour un email, le fonc­tion­ne­ment se limite donc très souvent (en tout cas dans les logi­ciels courants) à des varia­tions d’objet : 2 (ou plus) « sujets » d’emails seront alors rédi­gés, puis diri­gés chacun aléa­toi­re­ment à une partie de la base d’abon­nés ou de contacts. L’idée est de travailler sur une portion de la base totale, et de déduire quelle varia­tion est la plus effi­cace en termes de taux d’ou­ver­ture du mail. La version ayant les meilleurs résul­tats sera ensuite envoyée au reste de la base qui n’a pas encore été solli­ci­tée.

Voilà pour les présen­ta­tions, passons à l’ac­tion.

a-b-testing-newsletter-content-marketing

Prépa­rer son A/B testing « news­let­ter »

Voilà, vous avez bien travaillé votre news­let­ter (note : cela marche en réalité pour tout type d’emails : invi­ta­tion à des événe­ments, news copo­rate, push promo, pots de départ…), votre contenu est prêt et vous voilà sur le point de « shoo­ter ». Sueurs froides, mains moites and co… et si l’au­dience n’était pas au rendez-vous ?

Pas de panique, il est possible de vous donner quelques petites chances de plus… en recou­rant à l’A/B Testing sur l’objet du mail. Vous allez donc pouvoir shoo­ter 2, 3 ou plus de versions de votre mail en en chan­geant le « titre » (on recom­mande de se limi­ter à 3 max !) et choi­sir ensuite la plus perfor­mante. Voilà proba­ble­ment quelques % d’ou­ver­tures en plus !

Il vous reste donc à choi­sir quels sont vos heureux candi­dats, et voici nos conseils :

  • lâchez-vous un peu ! N’ayez pas peur de sortir un peu des sentiers battus et du corpo­ra­te­ment correct.
  • n’en­voyez pas les mêmes objets mail après mail, surpre­nez vos lecteurs ;
  • ne soyez pas non plus sur-vendeur, ne mentez pas juste pour faire ouvrir le mail (vous pâti­riez niveau taux de clic de toute manière et, plus grave, risque­riez de frus­trer le lecteur au point qu’il ne vous accorde plus sa confiance et vous mette en spam) ;
  • ne vous limi­tez pas à un certain nombre de carac­tères recon­nus comme « clas­siques », osez faire très court (quelques carac­tères, un mot…) mais aussi très long (liste de sujets, phrase qui inter­pel­le…).

Nous avons A/B testé pour vous, voici les résul­tats…

Nous faisons régu­liè­re­ment des A/B tests pour nos clients sur leurs diffé­rents envois, mais aussi sur nos propres news­let­ters. Nous avons eu envie de docu­men­ter notre dernier en date pour illus­trer un peu ce que cela donne. Et les résul­tats sont un peu surpre­nants dans leur dyna­mique, permet­tant d’ap­prendre pas mal de choses.

Le contexte : l’en­voi de notre news­let­ter sur le content marke­ting (près de 2 500 inscrits sur cette liste spéci­fique – quoi, pas encore vous ???) qui part tous les jeudis. Nous avons choisi cette fois-ci de faire partir la news­let­ter en tout début d’après-midi. L’ani­ma­tion ci-dessous montre l’évo­lu­tion, sur les 2 heures du test (l’échan­tillon test était de 600 personnes et quelques, avec 3 varia­tions donc 200 personnes envi­ron par objet), dans le temps (inté­res­sant de noter la réac­ti­vité (ou non) des desti­na­taires à cette heure-là…

A-B-Testing-Newsletter-Content-Marketing

Appren­tis­sages (de ce test et d’autres)

Au bout de 2 heures, nous stop­pons le test, avec un (court) vainqueur, et pour le coup pas celui que j’au­rais imaginé : les 2 000 personnes restantes rece­vront un mail avec pour objet “LA news­let­ter content marke­ting”… qui amènera (stats encore en cours) à un très hono­rable 29 % de taux d’ou­ver­ture, dans la moyenne de notre perfor­mance sur cette liste. Pas d’ef­fet « woua­hou » genre 15 % d’ou­ver­tures en plus, mais en grap­pillant quelques % à chaque fois ou en limi­tant la casse sur des périodes plus creuses, c’est tout de même inté­res­sant, au-delà de l’ap­pren­tis­sage quali­ta­tif que l’on peut en tirer !

En voici d’ailleurs certains, de ces ensei­gne­ments, tirés de pas mal de tests chez nous et nos clients

On ne sait pas vrai­ment ce qui va marcher

Il faut se montrer assez humble avec le A/B testing, et ne pas vouloir y coller ses propres croyances, c’est le meilleur moyen de passer à côté de quelque chose. L’avan­tage du test juste­ment, c’est qu’il permet de mener une expé­rience de manière presque un peu scien­ti­fique, « sans préjugé sur ce qu’on pense qui va marcher » (c’est très moche gram­ma­ti­ca­le­ment, mais vous me suivez ;)…

Ce qui a marché une fois peut ne pas remar­cher…

Ce n’est pas parce que vous avez trouvé quelque chose qui semble marcher que ça y est, vous pouvez vous repo­ser sur vos deux oreilles… Non, ce serait trop simple. Conti­nuez à tester d’autres approches et vous devriez avoir quelques bonnes surprises. Ou en tout cas des surprises !

C’est à prendre avec des pincettes pour les « petites audiences »

En B2B, on a parfois des listes de desti­na­taires qui ne dépassent pas quelques centaines. Compliqué alors d’avoir quelque chose de repré­sen­ta­tif et fiable, fina­le­ment si vous avez une base de 400 contacts et donc un échan­tillon de quelques dizaines, les résul­tats seront très vola­tiles. Il faudra alors parfois étaler les tests dans le temps pour voir se déga­ger quelques tendan­ces… ou attendre d’en avoir une plus grosse.

L’A/B testing est une très bonne gymnas­tique et c’est presque crimi­nel de n’en faire jamais

C’est vrai, à partir du moment où vous avez une base suffi­sante (1 000 contacts et au-delà), cela ne prend que quelques minutes pour rédi­ger quelques accroches diffé­ren­tes… Dommage de vous passer de l’ap­pren­tis­sage qui pour­rait en décou­ler.

Toujours, toujours, toujours se mettre à la place du lecteur

Quelle que soit votre créa­ti­vité ou le nombre de mails que vous allez faire partir… l’im­por­tant est de ne jamais trom­per le lecteur et de toujours se deman­der « quel béné­fice il va reti­rer de la lecture de mon email ? ». C’est ce qui condi­tion­nera ensuite ce que vous pour­rez marquer comme objet et qui orien­tera vos idées en tout genre. Mais il faut lutter et se faire violence pour vrai­ment avoir votre lecteur en tête !

Allez, à vous de jouer !

N’hé­si­tez pas à parta­ger vos expé­riences en matières d’A/B testing de news­let­ter dans les commen­taires ci-dessous !

Copyright 2017 Invox. Tous droits réservés