20 Simple Ways to Fuck Up your AB tests

Las empresas queman una enorme cantidad de tiempo en A/B tests que no dicen nada o que directamente engañan. Craig Sullivan, consultor de optimización de conversiones, dice de sí mismo que en los split tests ha cometido más de 60 tipos distintos de errores. En la charla muestra los más frecuentes, técnicos y culturales, y sostiene que detrás de un problema técnico casi siempre hay un problema de personas.

Verá por qué es un error detener una prueba en el momento en que la herramienta muestra un 95 % de confianza, cuánto tiempo dejar correr una prueba y por qué probar ciclos de negocio completos. Craig explica por qué, según su experiencia, el 40 % de las pruebas está técnicamente roto, por qué no funcionan las conjeturas de los directivos y qué significa probar también aquello que no sabe que se puede probar. Describe cinco pilares de una optimización que funcione en la empresa y, al final, muestra hacia dónde cree que avanzarán las pruebas.