20 Simple Ways to Fuck Up your AB tests

Firmy spálí obrovské množství času na A/B testech, které nic neříkají nebo rovnou klamou. Craig Sullivan, konzultant pro optimalizaci konverzí, o sobě říká, že při split testování udělal přes 60 různých druhů chyb. V přednášce ukazuje ty nejčastější, technické i kulturní, a tvrdí, že za technickým problémem je skoro vždycky problém s lidmi.

Dozvíte se, proč zastavit test ve chvíli, kdy nástroj ukáže 95 % spolehlivost, je chyba, jak dlouho test nechat běžet a proč testovat celé obchodní cykly. Craig vysvětluje, proč je podle jeho zkušenosti 40 % testů technicky rozbitých, proč nefungují odhady manažerů a co znamená testovat i to, o čem nevíte, že to testovat jde. Popisuje pět pilířů funkční optimalizace ve firmě a na konci ukazuje, kam se podle něj testování posune.