⚡️
Как ускорить A/B-тест с несколькими метриками, не ломая статистику
В продуктовых экспериментах часто одна целевая метрика. Но бывает сложнее: например, хотим увеличить выручку, но не готовы раскатывать, если просела конверсия в покупку. Значит, метрик будет несколько, и нужно контролировать вероятность хотя бы одной ложноположительной ошибки.
Классическое решение в таком случае — поправка Бонферрони. Делим общий уровень значимости поровну между метриками. Это просто, но не всегда эффективно: если одна метрика требует сильно больше пользователей, именно она определяет длительность всего теста.
В нашей лаборатории прикладной статистики предложили не делить уровень значимости поровну, а распределять его оптимально. Контроль ошибки первого рода сохраняется, а размер выборки в наших тестах сократился в среднем в 1,2 раза. На синтетике с 10 метриками выигрыш доходит до 1,9 раза.
В карточках — о том, как устроен метод и где он дает эффект. А подробности, математика и результаты экспериментов —
на Хабре.#abtesting #statistics #experiments #productanalytics