Het prioriteren van experimenten door Drift

Deze keer een iets andere blog dan normaal. Namelijk; een samenvatting van een briljante presentatie door Growth Blazers over het prioriteren van experimenten. Matt Bilotti is product lead bij Drift, en geeft uitleg over hun uitgekiende werkwijze. Matt praat over het proces van hun groeiteams voor het prioriteren van experimenten. Dit doen zij met behulp van unit economics; een baanbrekende manier van denken. Want ideeën bedenken en prioriteren is leuk, maar hoe doe je dat? De tijd van developers is schaars, en daardoor moet je de juiste afwegingen maken!

De funnel heeft de vorm van een kegel. Groeiteams werken aan verschillende onderdelen, zoals acquisitie (steeds nieuwe klanten werven) of activatie (ervoor zorgen dat ze bij ons blijven). Matt: “We hebben per groeiteam een tech lead met twee developers, een product manager en een ontwerper. Dit is de manier waarop onze hele productorganisatie bij Drift werkt.” 

Het ICE framework

Drift besloot na te denken over hoe ze verder zouden gaan en wat hun volgende stappen zouden zijn. Ze begonnen met het ICE framework (impact, confidence, ease). Je scoort elk van hen op een schaal van één tot 10. Misschien wel bekend, want dit framework is zeer beproeft in de CRO industrie.

Drift evolueerde echter hun manier van prioriteiten stellen. De voordelen van het nieuwe proces:

• Ze halen de emotie uit het prioriteren 
• Richt het team op het genereren van ideeën en de data erachter, zodat het debat niet gaat over betere ideeën, maar over de grootte van kansen.

Matt: “Iemand van Dropbox kwam langs en hij nam met ons door wat hij Evelyn noemde. Dat staat voor Experiment Velocity Engine Lifting Your Numbers.” Een uitgebreidere variant op het ICE model.

Wat Matt leuk vond, was dat je kunt zien dat het veel gedetailleerder, wetenschappelijker en doordachter is. Uiteindelijk gebouwd in Airtable, maar dat mag ook iets anders zijn. 

Ze denken hierbij ook na over opportunity en size. Dus niet alleen de impact, confidence en ease. Maar vooral ook, hoe trek je het in beweging? Hoeveel denk je dat je dat nummer kunt verbeteren? Het idee is dat je ook cijfers koppelt aan de metrics. En dat je snel ziet in welke categorie binnen de funnel het past. Referral of acquisitie bijvoorbeeld. 

Criteo is een retargeting platform dat wordt gebruikt door meer dan 19.000 adverteerders wereldwijd. Criteo biedt online verkopers de mogelijkheid om gepersonaliseerde display advertenties te tonen aan consumenten die eerder de website van de adverteerder hebben bezocht. Dankzij deze retargeting kunnen adverteerders hun potentiële klanten opnieuw bereiken met gepersonaliseerde banners. 

Impact metrics

Drift zei, hoe kunnen we dit allemaal verankeren? Vervolgens hebben ze alle stappen in de funnel onderzocht. En zogenoemde impact metrics gedefinieerd en hiervan de waarde achterhaalt. De output vormt een lijst van elke fase van de funnel en elk type van een mogelijk lead en gebruiker.

Denk aan allerlei verschillend micro tot macroconversies. Brochure downloads, offerteaanvragen, belletjes, bekeken video’s enzovoorts. Wat je uiteindelijk doet is het inventariseren van alle metrics en je koppelt daar euro’s aan. Is dat niet lastig? Eigenlijk makkelijker dan je zal denken.

Matt: Laten we zeggen dat we spreken van 100.000 omzet en 50.000 uit recurring revenu hebben. We nemen de overige 50.000 gedeeld door de 10.000 aan deze specifieke gemeten conversies en dat leidt tot vijf dollar per PQL. Dus één PQL is vijf dollar waard.” (PQL is in dit voorbeeld een zo’n genoemde impact metric. Dit breng je dus voor alle verschillende metrics in kaart.)

In het Evelyn systeem neem je ook de ‘waarde per dag’ op. En hierdoor vergroot je de betrouwbaarheid ontzettend ten opzichte van het standaard ICE framework. Je neemt namelijk ook de grootte van de kans mee inclusief het aantal geschatte dagen dat het zal duren om eraan te werken.

Wil je jouw prioriteringsproces verder professionaliseren? Begin dan met het verzamelen van jullie  impact metrics. Kost je misschien een paar uur, maar dat is niet zo erg. Bereken daarna de waarde van deze impact metrics. Maak een spreadsheet of gebruik Airtable. Drift, maar ook Fingerspitz, is gebruiker van Airtable. Om te starten begin je gewoon met ICE en vervolgende voeg je toe; de opportunity size, de geschatte tijd om het ontwikkelen en niet te vergeten de waarde per dag. Want vooral met de waarde per dag zie je in één oogopslag welk experiment het meest interessant is.