Интенсив - математическая статистика и A/B-тесты

Как часто в своей работе вы сталкиваетесь с идеей провести A/B тест и проверить гипотезу на реальных данных? Мы думаем, что регулярно. Но прежде чем запустить эксперимент, чаще всего возникают следующие вопросы: Хватит ли нам данных? Что делать, если мне не будет хватать данных? Как понять, что мне нужно запускать именно эту гипотезу из 100 остальных? Как понять, что результаты эксперимента дадут рост для бизнеса?f

Это базовые вопросы, на которые нужно уметь отвечать как продакт-менеджеру так и аналитику.

Программа курса:

1 день:

• Описательные статистики: дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ.
• Обзор классических статистических критериев: параметрические и непараметрические.
• Способы определения минимального объема выборки.

2 день:

• A/B/X-тестирования и множественная проверка гипотез.
• Проблема подглядывания и последовательный анализ

3 день:

• Бутстрап: повторные выборки и квантильная оценка метрик.
• Нормализация и трансформирование метрик.
• Методы проверки качества систем сплитования: A/A-тестирования.

4 день:

• Ускорение экспериментов: CUPED и стратификация.
• Увеличение чувствительности ratio-метрик