Štatistická významnosť hovorí, aká je pravdepodobnosť, že pozorovaný rozdiel medzi dvoma variantmi vznikol náhodou. Bez nej sú výsledky testov zavádzajúce: pri malom počte návštev sa varianty v priebehu dní striedajú na prvom mieste a ktorýkoľvek moment vyhlásený za koniec testu dá inú odpoveď. Najčastejšou chybou je práve predčasné ukončenie vo chvíli, keď obľúbený variant vedie. Pred spustením si preto vypočítajte potrebnú veľkosť vzorky z aktuálnej miery konverzie a z rozdielu, ktorý chcete vedieť zachytiť – pri malej návštevnosti často vyjde, že test na daný prvok nemá zmysel a lepšie je testovať výraznejšiu zmenu. Test nechajte bežať celé týždne, aby pokryl všetky dni, a nemeňte počas neho iné veci na stránke.
Pozri aj: geo experiment, inkrementalita, konverzné okno.
