Случаен подбор

Когато се правят изводи дали нещо е по-добро или по-лошо от друго нещо е много важно да разполагаме с представителна извадка. Това в повечето случаи се постига чрез система, която на абсолютно произволен принцип избира извадката ни. Да кажем, че оценяваме две целеви страници в рамките на дадена рекламна кампания. Ако просто прегледаме резултатите за двете страници след кампанията и видим, да кажем, че страница А се представя 20% по-добре от страница Б, бихме ли могли да заключим, че това е предстиветелен резултат за цялата аудитория на сайта ни или дори за аудиторията само по време на кампанията?

Не, защото е възможно да имаме "объркваща променлива" (confounding variable). Т.е. може разликата да се наблюдава заради неравно разпределение на трафика към страниците между източниците на трафик. Или може едната страница да е получила доста повече трафик от криейтив А, Б и В, но не и от криейтив Д. Възможно е към едната страница да са отишли повече потребители от един географски регион, отколкото от друг. В този случаи разликата може да се дължи не на качеството на целевата страница, а на една или повече скрити променливи.

В този случай е важно да ползваме възможностите за произволно разпределение на трафика, заложени в много от рекламните инструменти, а най-добре да ползваме и готово или вътрешно разработено решение за А/Б тестове. То осигурява абсолютна произволност на това какво виждат различните потребители, съответно разпределя по неутрален начин трафика и елиминира възможността някоя скрита променлива да влияе на теста ни.