
karpov.courses
Мы создали школу Data Science, предлагающую программы обучения для любого уровня подготовки. Будем рады видеть вас в числе наших студентов!
Расскажем всё о проведении экспериментов в компаниях. На симуляторе вы отработаете на практике сложные и нестандартные ситуации, чтобы избежать ошибок в реальной работе.
В бизнесе ежедневно принимаются сотни решений. Часто сложно понять, какое решение будет оптимальным, но цена ошибки при этом высока. Компании, применяющие A/B-тестирование, ошибаются реже и благодаря этому опережают своих конкурентов.
Именно математическая статистика предоставляет нам обоснованные критерии для проверки гипотез и даёт уверенность в правильности полученных результатов.
Вам может казаться, что A/B-тестирование — это просто. Но это ровно до того момента, пока вы не наткнётесь на первые подводные камни, которые приведут вас к неоптимальному решению, а значит, и потерям в бизнесе.
Для кого этот курс:
1. Продакт-менеджер
Работаете над развитием продукта и хотите научиться принимать решения на основе data-driven подхода.
2. Аналитик
Занимаетесь анализом бизнес-метрик и хотите на практике разобраться во всех тонкостях A/B-тестирования.
Как проходит обучение:
1. Решайте настоящие задачи бизнеса
2. Работайте с реальной инфраструктурой
Чему Вы научитесь:
1. Разрабатывать оптимальный дизайн онлайн и офлайн экспериментов
2. Применять современные методы повышения чувствительности A/B-тестов
3. Проверять гипотезы со сложными метриками, для которых стандартные тесты не работают
4. Проводить множество экспериментов параллельно
Какие задачи будем решать:
1. Дизайн эксперимента
Разработчики провели рефакторинг кода и подготовили обновление бэкенда сайта. Ожидается, что новая версия будет более надёжной и масштабируемой. Подготовь дизайн эксперимента для проверки скорости ответа бэкенда на запросы клиентов.
2. Анализ метрики отношений
Менеджеры хотят заменить транспорт курьеров, чтобы ускорить доставку. В качестве метрики будем использовать среднее время доставки, для которой обычные тесты не работают. Выбери подходящий метод и проанализируй полученные результаты.
3. Чувствительные тесты
Есть несколько гипотез, которые вряд ли сильно повлияют на наши метрики, но даже небольшие улучшения для нас важны. Попробуй с помощью разных методов повысить чувствительность тестов, чтобы они могли замечать маленькие эффекты.
4. Множественное тестирование
У нас накопилось очень много гипотез, но проверять их отдельно слишком долго. Придумай, как запустить несколько экспериментов одновременно, иначе мы до них никогда не доберёмся.
Мы создали школу Data Science, предлагающую программы обучения для любого уровня подготовки. Будем рады видеть вас в числе наших студентов!
Примеры из практики в A/B тестировании - это курс, который познакомит вас с методами проектирования, проведения и анализа экспериментов с использованием A/B тестов, чтобы вы могли принимать обоснованные решения на основе данных. Присоединяйтесь к курсу, чтобы узнать, как эффективно проектировать эксперименты, анализировать результаты и внедрять улучшения с помощью A/B тестирования.