A/B test na webe porovnáva dve varianty stránky alebo prvku, pričom návštevnosť sa medzi ne rozdelí náhodne a meria sa, ktorá dosiahne lepší výsledok. Podmienkou zmysluplného testu je dostatočný objem návštev a konverzií – pri niekoľkých desiatkach konverzií mesačne test nikdy nedosiahne spoľahlivý výsledok a rozhodovať podľa neho je horšie než nerozhodovať vôbec. Test má bežať celé týždne, aby pokryl aj víkendy, a nemal by sa ukončiť predčasne pri prvom priaznivom čísle. Testovať sa oplatí zmeny s potenciálne veľkým dopadom, nie farbu tlačidla. Pri malej návštevnosti sú vhodnejšie iné metódy – testovanie použiteľnosti, rozhovory so zákazníkmi a odstránenie zjavných prekážok v procese.
Pozri aj: štatistická významnosť testu, multivariate testing, hypotéza v CRO.
