A/B Testen

We hebben de mogelijkheid om een A/B test, ook wel splittest of split-run test genoemd, uit te voeren. Twee varianten van de mail wordt dan verzonden naar delen van een lijst om daarna de 'winnende' mail naar de rest van de lijst te kunnen sturen, of om deze naar gelijke delen van de lijst te sturen om er achter te komen of een bepaald format beter scoort.

Het is en blijft een momentopname. Het kan zijn dat er 1 van de volgende zaken optreedt: 

• Er kunnen na het verzenden van de splittest nog mails worden geopend van de 'verliezende' mail, waardoor het kan lijken alsof de verkeerde mail is verstuurd. Maar gezien de 'winnende' mail na de aangegeven periode naar de rest van de lijst is verstuurd, wordt er daarna geen rekening meer gehouden met de openers van de mail(s) ná die periode. Daar kunnen dus nog een aantal andere openers tussen zitten die niet worden meegenomen in de telling van de resultaten voor verzending naar de rest van de lijst.
  
  
• Er kunnen door redenen die door ons achteraf niet meer te achterhalen zijn verschillen in opens (en dus ook kliks) zitten. Dit kan bijvoorbeeld komen doordat er in de ene helft van de lijst meer adressen zitten van een bepaalde emailprovider, die strenger reageert met oog op spam. Maar het kan ook voorkomen dat er bij een internet provider een storing is waardoor hier andere resultaten uit voortkomen.
  
  
• Een splittest die een week eerder verstuurd werd kan bijvoorbeeld behoorlijk andere resultaten hebben als een splittest die deze week verstuurd wordt. Ook hier heb je te maken met dat het een momentopname is. (Vakantieperioden willen nog wel eens voor andere openrates zorgen). Hou hier dus rekening mee. 
  
  
• Uitgaande dat alleen de inhoud van de mail veranderd is, zal je geen resultaten van de test kunnen beoordelen op basis van het aantal opens. Voorbeeld: Mail A is door 50.000 man geopend en Mail B door 42.000 waarbij de afzender, onderwerp & preheader hetzelfde zijn (en bijv alleen de kleur van de buttons binnen de mail aangepast is). Dan heb je hier dus weinig aan, omdat 8000 ontvangers die button niet eens gezien hebben. Uitgaande dat er dan op kliks wordt gemeten voor de test, zal er eerst een berekening gemaakt moeten worden op basis van gelijke openrates voordat daar iets zinnigs over gezegd zou kunnen worden over aanpassingen met het nieuwe format voor toekomstige mails. 
  
  
• Splittests hebben onder aantallen van 50.000 eigenlijk weinig nut. Dit moet echt op een grote groep worden uitgevoerd om significante resultaten eruit te kunnen halen. Hoe groter de groep, des te betrouwbaarder het resultaat. 
  
  

Het advies is om meerdere tests te doen voordat je met zekerheid kan zeggen dat iets beter scoort. Het gemiddelde van meerdere momentopnamen tekenen tenslotte een beter beeld dan een enkele. 

Statistieken van een split-run test

Als je een mail naar bijvoorbeeld 10.000 adressen verzendt, en kiest voor een test naar 10%,  dan wordt mail A dus naar 500 adressen verzonden, en mail B ook naar 500 adressen.

Stel dat mail A de winnaar is, dan wordt die mail naar de resterende groep van van 9.000 adressen  verzonden.

In de statistieken wordt dat opgeteld: Mail A is naar 9500 verzonden, mail B naar 500.

In het geval er geen winnaar was, wordt het restant van 9000 verdeeld, gaat mail A naar 4500 adressen en mail B naar 4500 adressen.