Научитесь проверенным методикам быстрого улучшения AI-приложений. Стройте системы искусственного интеллекта, которые работают лучше конкурентов - вне зависимости от конкретного сценария использования.
Если при работе с AI у вас возникают вопросы вроде:
Как тестировать приложения, где результаты вероятностные и требуют субъективной оценки?
Если я меняю промпт, как убедиться, что ничего другого не сломал?
На что направить инженерные усилия? Нужно ли тестировать всё?
Что делать, если нет данных или пользователей - с чего начать?
Какие метрики отслеживать? Какие инструменты использовать? Какие модели выбрать?
Можно ли автоматизировать тестирование и оценку? И если да - как этому доверять?
- значит, этот курс для вас.
Это практический курс для инженеров и технических продакт-менеджеров. Идеален для тех, кто умеет программировать или «любит кодинг на ощущениях».
Чего ожидать
Вас ждёт интенсивная практика: упражнения, работа с кодом и данными. Мы встречаемся дважды в неделю в течение четырёх недель + выделяем щедрые office hours. Все занятия записываются и будут доступны в асинхронном формате.
Содержание курса
Основы и жизненный цикл оценки LLM-приложений
Систематический анализ ошибок
Построение эффективных метрик и пайплайнов автоматизированной оценки
Коллаборативные практики и согласование критериев оценки
Стратегии тестирования для разных архитектур (RAG, пайплайны, мультимодальные системы и др.)
Мониторинг в продакшене и непрерывная оценка качества
Организация эффективного процесса human-in-the-loop ревью
Оптимизация затрат и маршрутизация запросов
Результаты обучения
Освоите лучшие инструменты для поиска, диагностики и приоритизации ошибок в AI.
Узнаете, как использовать синтетические данные до появления пользователей и как максимально эффективно задействовать реальные данные.
Построите «data flywheel», который гарантирует улучшение вашего AI со временем.
Научитесь автоматизировать часть процессов оценки и доверять им.
Сможете настроить AI под ваши предпочтения и требования.
Избежите распространённых ошибок, накопленных на опыте более 35 AI-проектов.
Получите практику через end-to-end упражнения, код и разбор реальных кейсов.
Посмотреть больше
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Ограничение времени просмотра
Вы можете просматривать пробный урок только 10 минут. Получите полный доступ, чтобы смотреть без ограничений.
Хамель Хусейн - инженер в области машинного обучения с более чем 20-летним опытом. Работал в инновационных компаниях, таких как Airbnb и GitHub, где занимался ранними исследованиями LLM для понимания кода, использованными в OpenAI. Является автором и участником множества популярных open-source инструментов для машинного обучения. В настоящее время Хамель работает независимым консультантом, помогая компаниям создавать AI-продукты.
Шрея Шанкар - инженер в области машинного обучения и кандидатка наук (PhD) по компьютерным наукам в UC Berkeley, где она разрабатывает системы, помогающие людям эффективно использовать ИИ для работы с данными. Её исследования сосредоточены на создании практических инструментов и фреймворков для построения надёжных ML-систем, включая недавние прорывные работы по оценке LLM и качеству данных. Она опубликовала влиятельные статьи об оценке и согласов
Guys, sorry to bother. Could you please fix lesson 5?
CourseHunter Team
Anonymous
Okay, we checked the information about lesson 5, and unfortunately, there’s nothing else there. We have everything exactly the same as in the original course.
Anonymous
Anonymous
Also is there any way you could compile reflection questions from the course? :) sorry and thank you
Anonymous
Lesson 5 seems to be missing?
Anonymous
Anonymous
100%, this is unfortunate, the title is very exciting
CourseHunter Team
Anonymous
Seems ok
Anonymous
CourseHunter Team
Could you please take a look at it? all lectures are 1 hour long and the stated content is "more automated evaluators", it's definitely not what the guy in the video is talking about.
CourseHunter Team
Anonymous
Okay, we checked the information about lesson 5, and unfortunately, there’s nothing else there. We have everything exactly the same as in the original course.
Anonymous
CourseHunter Team
We have "Lesson 4. Automated Evaluators" recording, which is one hour ~ long.
Then we have "Lesson 5. More Automated Evaluators," which is five minutes long and isn't the lesson but a homework walkthrough.
Then we have "Lesson 5. More Automated Evaluators," which is five minutes long and isn't the lesson but a homework walkthrough.