Afgelopen week vond ’s werelds eerste online conversie conferentie plaats: Conversion World. Meer dan 20 internationale conversie optimalisatie professionals deelden hun kennis gedurende drie dagen via webinars. Geen gedoe met vluchten, hotels en duffe conferentiezalen, maar fijn meekijken thuis vanuit je luie stoel!
In dit artikel delen we de highlights van Justin Rondeau’s sessie. Justin is conversie optimalisatie manager van Digital Marketer en weet álles van testen. In zijn webinar sprak hij over de meest gemaakte fouten tijdens split tests en andere conversie optimalisatie tests.
8 things that can make a good test go bad.
- Ga niet testen als het geen toegevoegde waarde heeft. Je kunt wel een test gaan uitvoeren op pagina’s met minimaal verkeer, of pagina’s met teveel variabel verkeer (zoals seizoensbedrijven), maar als dit geen toegevoegde waarde heeft, doe dit dan niet. Je kunt je tijd en aandacht dan beter stoppen in andere aspecten van conversie optimalisatie die wél nuttig zijn.
- Te veel elementen in één keer testen. Natuurlijk is testen hartstikke leuk en je wilt veel dingen veranderen, maar doe dit niet tegelijkertijd. Als je te veel aspecten verandert, weet je niet meer welk aspect voor een conversie heeft gezorgd.
- Werken met te weinig data. Statistische significantie is NIET hetzelfde als praktische significantie. Fijn als je test aangeeft dat je een significant effect hebt, maar als je maar een N van 3 hebt, stelt dit dus niks voor. Let ook op scheve verdelingen: een N van 1437 in test A en 58 in test B? Dit zorgt voor een scheef effect. Probeer deze verdeling redelijk gelijk te houden.
- Een te korte periode testen. 25% van de marketeers stopt zodra het programma aangeeft dat een test een winnaar is. Maar hierdoor neem je geen terugkomende bezoekers mee in je testresultaten. Maak de periode af die je van tevoren bedacht had.
- De week niet afmaken. Soms heb je binnen een paar dagen al de benodigde data en ben je geneigd de test te stoppen. Doe dit niet! De dagen van de week kunnen de test beïnvloeden. Zorg voor een volledig gemiddelde en laat de test in ieder geval de week afmaken. Nog beter is het om de test gedurende de volledige buying cycle van de klant te laten lopen.
- Geen duidelijke hypothese hebben. Je moet niet testen puur omdat je kán testen. Stel jezelf van tevoren de vraag ‘’Wat wil ik weten?’’ Stel een duidelijke hypothese op in deze vorm: Ik geloof dat het veranderen van A voor bezoekers B een verschil in C zal opbrengen.
- Het testen van onzinnige elementen en het meten van nutteloze statistiek. Meet iets dat het meten waard is en laat je niet verleiden door vanity metrics/tests, want kwaliteit is altijd meer waard dan kwantiteit.
- Meer aan een test toeschrijven dan dat de test daadwerkelijk zegt. Een correlatie is niet causaal. Blijf gekleurde testresultaten voor en laat de data het verhaal vertellen, niet jij zelf.
Tot zover de acht punten van Justin Rondeau. Heb jij nog meer tips of veel voorkomende fouten? Deel ze met ons!