20 Simple Ways to Fuck Up your AB tests

Firmy tracą ogromne ilości czasu na testy A/B, które nic nie mówią albo wręcz wprowadzają w błąd. Craig Sullivan, konsultant od optymalizacji konwersji, mówi o sobie, że przy testach split popełnił ponad 60 różnych rodzajów błędów. W wystąpieniu pokazuje te najczęstsze, techniczne i kulturowe, i twierdzi, że za problemem technicznym prawie zawsze stoi problem z ludźmi.

Z nagrania dowiedzą się Państwo, dlaczego zatrzymanie testu w chwili, gdy narzędzie pokaże 95% istotności, jest błędem, jak długo test powinien trwać i dlaczego testować pełne cykle sprzedażowe. Craig wyjaśnia, dlaczego według jego doświadczenia 40% testów jest technicznie zepsutych, dlaczego nie działają przeczucia menedżerów i co znaczy testować także to, o czym nie wiadomo, że da się to testować. Opisuje pięć filarów działającej optymalizacji w firmie, a na koniec pokazuje, dokąd jego zdaniem zmierza testowanie.