20 Simple Ways to Fuck Up your AB tests

Unternehmen verbrennen enorm viel Zeit mit A/B-Tests, die nichts aussagen oder sogar in die Irre führen. Craig Sullivan, Berater für Conversion-Optimierung, sagt über sich, dass er beim Split-Testing über 60 verschiedene Arten von Fehlern gemacht hat. Im Vortrag zeigt er die häufigsten, technische wie kulturelle, und sagt, dass hinter einem technischen Problem fast immer ein Problem mit Menschen steckt.

Sie erfahren, warum es ein Fehler ist, einen Test zu stoppen, sobald das Tool 95 % Signifikanz anzeigt, wie lange ein Test laufen sollte und warum Sie ganze Geschäftszyklen testen sollten. Craig erklärt, warum nach seiner Erfahrung 40 % der Tests technisch kaputt sind, warum Schätzungen von Managern nicht funktionieren und was es heißt, auch das zu testen, wovon man nicht weiß, dass man es testen kann. Er beschreibt fünf Säulen funktionierender Optimierung im Unternehmen und zeigt am Ende, wohin sich das Testen seiner Meinung nach entwickelt.