Хабр

Значимый A/B‑тест завышает рост. Считаем, во сколько раз

Значимый A/B‑тест завышает рост. Считаем, во сколько раз

A/B‑тест показал +6% к конверсии при p‑value 0,03, и команда закладывает результат в бизнес‑прогноз. Но при низкой мощности эксперимента случайный шум может существенно завышать оценку эффекта. В статье разбираем, как работает проклятие победителя, насколько сильно оно искажает результаты и какие методы помогают получить более реалистичную оценку.

Разбираем A/B-тесты

🚀 Ускорьте работу вашего бизнеса

Корпоративный Яндекс Браузер с усиленной защитой данных и встроенными нейросетями. Официальная сборка для юридических лиц и ИП.

Скачать бесплатно