A/B тестирование — что это

Коротко

A/B тестирование (A/B Testing) — метод, при котором две версии продукта (например, два варианта лендинга или онбординга) показываются разным случайным группам реальных пользователей одновременно, чтобы определить, какая версия работает лучше по заданной метрике.

Как это работает. Пользователи случайным образом делятся на группы, каждая видит свою версию, а результат сравнивается по конкретной метрике — например, конверсии в первый депозитПервый депозит — самое первое пополнение счёта игрока у конкретного оператора, с которым часто связывают приветственные бонусы.Подробнее → (см. Первый депозитор).

Пример. Два варианта кнопки регистрации с разным текстом показываются двум равным группам пользователей — вариант с более высокой конверсией становится основным.

Нюанс. Для статистически надёжного результата тест обычно требует достаточно большого объёма трафика и заранее рассчитанной минимальной длительности — выводы по слишком маленькой выборке легко оказываются случайным шумом.

«Результат A/B теста на слишком маленькой выборке — это почти всегда шум, а не сигнал. Я видел немало решений, принятых по тесту, который просто не успел набрать статистическую значимость.»

— Леон Вольски, Теоретик игр, прикладной математик, гейм-дизайнер и автор научно-популярных материалов о механике казино

Связанные термины

Леон Вольски

Леон Вольски

Теоретик игр, прикладной математик, гейм-дизайнер и автор научно-популярных материалов о механике казино

Перейти на страницу автора →