Koľko návštevnosti treba, aby mal A/B test zmysel
Väčšina testov na menších e-shopoch skončí bez jasnej odpovede. Nie preto, že by bola zmena zlá, ale preto, že sa nikdy nedosiahol počet návštev, pri ktorom by sa rozdiel dal odlíšiť od náhody.
Od čoho závisí potrebná vzorka
Od dnešného konverzného pomeru a od toho, aký veľký rozdiel chcete vedieť rozpoznať. Čím menší rozdiel, tým viac návštev — a nie lineárne, ale výrazne rýchlejšie.
Ak test nenaberie potrebný počet návštev do štyroch týždňov, nepúšťam ho. Radšej zmenu nasadím a sledujem dáta po nasadení.
Čo robiť, keď na test nie je dosť dát
Opravovať veci, pri ktorých test nie je potrebný: nefunkčné validácie, chýbajúcu informáciu o doprave, kroky, ktoré nikto nedokončí. Na to stačí poriadne merať a pozerať sa, kde ľudia odchádzajú.