Байесовский подход к оценке А/Б-тестов

При проведении А/Б-тестов в мобильных приложениях и веб-сервисах требуется ответить на вопросы:

• Какой вариант лучше и насколько?
• Каковы оценки целевой метрики в каждом варианте?
• Насколько уверены в оценке?
• Сколько должен продолжаться эксперимент?

На отдельных примерах показано, как ответить на вопросы выше с помощью байесовского моделирования.

Содержание:

1. Общие идеи и сравнение конверсий
2. Сравнение средних
3. Приложение: проверка статистических гипотез

Черновики:

Приложение: сравнение методов оценки А/Б-тестов
Приложение: множественные сравнения