Перестаньте строить RAG‑системы, которые блестят на демо, но терпят неудачу в продакшене. За шесть недель вы освоите системный, data‑driven подход - от синтетической оценки до интеллектуального маршрутизации запросов - и превратите прототип в «mission‑critical» решение.
Что вы получите
Improvement Flywheel: создание синтетических наборов данных для точного выявления слабых мест ещё до запуска системы.
Fine‑tuning Framework: обучение собственных эмбеддингов на минимальном объёме данных (от 6 000 примеров) для прироста точности на 20–40 %.
Feedback Acceleration: дизайн интерфейсов, собирающих в пять раз больше качественной обратной связи без раздражения пользователей.
Segmentation System: анализ запросов для приоритизации улучшений и значительного роста релевантности.
Multimodal Architecture: настройка отдельных индексов под документы, изображения и таблицы.
Query Routing: единая система, автоматически выбирающая оптимальный механизм поиска для каждого запроса.
Программа курса
Evaluation Systems - синтетические датасеты и метрики для объективной оценки.
Fine‑tune Embeddings - кастомизация эмбеддингов для бизнес‑контекста.
Feedback Systems - сбор и анализ сигналов от пользователей.
Query Segmentation - выделение сегментов запросов с наибольшим потенциалом улучшения.
Specialized Search - построение специализированных индексов для разных типов контента.
Query Routing - автоматическая маршрутизация запросов между механизмами поиска.
Преподаватель курса
Jason Liu - специалист по разработке AI‑систем в самых разных областях: от компьютерного зрения в Университете Ватерлоо до политики контента в Facebook и рекомендательных систем в Stitch Fix, где его решения обеспечили рост выручки на $50 млн. Опыт масштабного упорядочивания данных, проектирования мультимодальных retrieval‑моделей и обработки сотен миллионов рекомендаций в неделю лег в основу его консалтинговых проектов и этой программы по внедрению RAG‑систем.
Посмотреть больше
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Урок 1.
00:16:48
01. Lecture 0. Introductions
Урок 2.
00:26:19
02. Lecture 1. Synthetic data, fake it until you make it
Урок 3.
00:12:43
03. Week 1 - 1 Synthetic Questions
Урок 4.
00:13:24
04. Week 1 - 2 Benchmarking Retrieval
Урок 5.
00:09:01
05. Week 1 - 3 Statistical Validation
Урок 6.
00:19:36
06. Introductions
Урок 7.
00:47:33
07. Office Hours MAY 20
Урок 8.
00:52:08
08. Understanding Embedding Performance through Generative Evals [Kelly Hong]
Урок 9.
00:51:11
09. Semantic search over the web with Exa [Will Bryk]
Урок 10.
00:54:57
010. Office Hour MAY 22
Урок 11.
00:19:40
011. Optional Notebook Office Hour MAY 22
Урок 12.
00:53:28
012. Online Evals and Production Monitoring [Ben Hylak & Sidhant Bendre]
Урок 13.
00:54:38
013. Data is Everything Finding needles in multimodal haystacks [Rajan Agarwal & Luke Igel]
Урок 14.
00:57:36
014. Week 2 Office Hour MAY 27
Урок 15.
00:38:56
015. Week 2 Office Hour MAY 29
Урок 16.
00:44:08
016. Optional Notebook Office Hour MAY 29
Урок 17.
00:24:15
017. Lecture 3 Product UX Feedback
Урок 18.
00:50:58
018. Latency First How to Actually Make RAG & Agents Fast [Aarush Sah] JUNE 4
Урок 19.
00:51:54
019. Week 3 RAG Without APIs When Function Calling Talks to Your Browser [Michael Struwig]
Урок 20.
00:33:25
020 Office Hour June 5
Урок 21.
00:34:59
021 Lecture 4 Segmentation - Descript
Урок 22.
00:11:57
022 Week 4 - 1 Generate Dataset - Descript
Урок 23.
00:09:33
023 Week 4 - 2 Topic Modelling - Descript
Урок 24.
00:03:02
024 Week 4 - 3 Classifier - Descript
Урок 25.
00:51:10
025 RAG Anti-patterns in the Wild, and How to Fix Them [Skylar Payne]
Урок 26.
00:53:15
026 Office Hour JUNE 10
Урок 27.
00:41:44
027 Office Hour JUNE 12
Урок 28.
00:30:27
028 Lecture 5 Multimodality - Descript
Урок 29.
00:06:48
029 Week 5 - 1 Generate Dataset - Descript
Урок 30.
00:13:33
030 Week 5 - 2 Metadata Filtering - Descript
Урок 31.
00:10:45
031 Week 5 - 3 Text-2-SQL - Descript
Урок 32.
00:10:59
032 Week 5 - 4 PDF-Parser - Descript
Урок 33.
00:07:30
033 Week 5 - 4 Cohere Embed V4 - Descript
Урок 34.
00:52:40
034 Natural Language Search on Semi-Structured Data [Daniel Svonava]
Урок 35.
00:53:13
035 Better RAG Through Better Data [Adit Abraham]
Урок 36.
00:41:10
036 Office Hour JUNE 17
Урок 37.
00:51:58
037 Office Hour JUNE 19
Урок 38.
00:19:06
038 Lecture 6_ Routing - Descript
Урок 39.
00:06:51
039 Week 6 - 1 _ Evaluate Tools - Descript
Урок 40.
00:13:33
040 Week 6 - 2 _ Generate Dataset - Descript
Урок 41.
00:05:46
041 Week 6 - 3 _ Improving Performance - Descript
Урок 42.
00:53:49
042 RAG in the age of agents. SWE-Bench as a case study. [Colin Flaherty]
Урок 43.
00:55:25
043 How to Build Self-Improving AI via Data-Driven Loops [Hamish Ogilvy]
Урок 44.
01:05:31
044 Conclusions
Урок 45.
00:53:37
045 Improving retrievers by Reranking and embedding fine-tuning [Ayush Chaurasia]
Урок 46.
00:56:52
046 Lessons on retrieval for autonomous coding agents [Nik Pash]
Урок 47.
00:53:30
047 Startups to F500 Document Automation Lessons at Scale [Eli Badgio]
Урок 48.
00:52:20
048 Why Devin does not use multi agents [Walden Yan]
Урок 49.
00:49:26
049 Scaling Judge-Time Compute for Robust Auto LLM Evaluation [Leonard Tang]
Урок 50.
00:52:53
050 Rethinking RAG from first principles for agents [Beyang Liu]
Урок 51.
00:56:03
051 How You Catch Production Hallucinations in Real Time [Julia Neagu]
Урок 52.
00:50:00
052 Lessons from building verticalized AI agents [Chris Lovejoy]
Урок 53.
00:51:26
053 Billion-Scale Vector Search on Object Storage [Simon Hørup Eskildsen]
Автор - Jason Liu
Jason Liu
Jason Liu - опытный инженер ИИ с более чем шестилетним стажем разработки систем поиска и рекомендаций в академической и коммерческой среде. В его портфолио: создание моделей компьютерного зрения в Университете Ватерлоо, формирование политики контента в Facebook и построение рекомендательных движков в Stitch Fix, которые принесли компании дополнительно $50 млн выручки. За последний год он консультировал десятки стартапов, помогая доводить их RAG‑р
Oh i see : https://github.com/567-labs/systematically-improving-rag/tree/main/cohort_2/week1
dotnet_knight
03. Week 1 - 1 Synthetic Questions could you please help me with finding this file with synthetic_questions?
ran
Team, can I suggest something for uploading the content? As the course is progressing, it is becoming difficult to keep track of the core lessons and the real world talks. Can we number the core lessons in such a way that the core lessons are on the top or at least a way that the core lessons are grouped together. Otherwise, we will need to download and sort it ourselves.
CourseHunter Team
ran
We are uploading in the same order as the original course. I don't see any problem with skipping the office talks if you're not interested in them.
Alphonse
Andrew, I must admit this is a great course,. Worth it,. Thank you to all contributors and ch team to make this happen. I appreciate it .
CourseHunter Team
Alphonse
Glad to hear that. Wishing you an enjoyable and productive learning journey.
CourseHunter Team
Update: 07. Office Hours May 20
Anonymous
Thanks everyone for making this course available! Can we also have the content from the past 2 cohorts added if they are provided?
CourseHunter Team
Anonymous
Yeah, we will add them little later with a separate post.
CourseHunter Team
Это было непросто, но мы справились. Спасибо всем участникам кампании. Желаем приятного обучения!
It wasn’t easy, but we made it through. Thank you to everyone who took part in the campaign. Enjoy your learning!
antrix57
Dear admins, the process is not without funding challenges, so i was wondering if you can share an update and if we can fix this course?
CourseHunter Team
antrix57
You should have received an email with updates about this campaign. Please check your inbox.
antrix57
CourseHunter Team
Aah i read it now :) Thanks so much!
CourseHunter Team
antrix57
Thank you for joining this campaign!
Raj
Can I participate now?
I see there are a few participants are yet to pay and I can replace someone if needed..
Thanks..
CourseHunter Team
Raj
By the end of this week, we'll assess whether we can afford to purchase this course, and we may include you among the participants. We'll let you know. Thank you.
Raj
CourseHunter Team
I will still be on standby. Please let me know, and I will be happy to join.. :)
ran
CourseHunter Team
Let me know if you need extra support. Willing to pitch in a little more if required.
antrix57
Let's go buddies, let's finish the payments and get this beautiful course on the platform!
ran
There is an early bird discount on for the upcoming cohort that can lower the price to 1440 instead of 1800. It is valid for the next 48 hours though. We could go ahead with the current number of participants too if everybody agreed.
antrix57
ran
Im in
CourseHunter Team
ran
Based on our previous crowdfunding experience, unfortunately, we won't be able to complete everything within 48 hours. However, this discount might still be available later - we'll see.
ran
CourseHunter Team
Got it
CourseHunter Team
Так как старт курса запланирован на 20 мая, набор участников будет длится до конца апреля. В начале мая вместе с участниками определимся со стартом сборов.
Наглядный пример курса и его цены раскрывает смысл краудфандинга. Присоединяйтесь - и вместе мы получим доступ к нему!
Команда внимательно читает ваши комментарии и оперативно на них реагирует. Вы можете спокойно оставлять запросы на обновления или задавать любые вопросы о курсе здесь.
Создайте свой первый продукт с LLM, Prompting и RAG
Build Your First Product with LLMs, Prompting, RAG
Этот практический интенсив даст вам все необходимые навыки для создания полноценно работающего продвинутого продукта на базе больших языковых моделей (LLM) - от выбора идеи до её развёртывания в продакшене.
Изучите ключевые принципы разработки Retrieval-Augmented Generation (RAG) систем и применение передовых методов поиска для улучшения работы искусственного интеллекта. В рамках курса вы освоите интеграцию RAG в AI-приложения, оптимизацию процессов поиска информации и генерации ответов, а также научитесь применять передовые технологии машинного обучения для повышения точности и эффективности работы интеллектуальных систем.
Этот курс посвящен созданию эффективных и надежных приложений на основе Retrieval-Augmented Generation (RAG). Студенты изучат основные компоненты RAG-систем и лучшие практики их разработки. Курс также включает изучение продвинутых концепций, таких как Agentic RAG-системы. После прохождения курса студенты получат глубокое понимание работы RAG и освоят методологии, позволяющие разрабатывать передовые RAG-приложения в различных областях.
Learn to Build Machine Learning Systems That Don't Suck
Живой, интерактивный курс, который научит тебя с нуля проектировать, создавать и внедрять готовые к эксплуатации ML-системы - без воды и академического занудства.Этот курс - для тех, кто хочет решать реальные задачи с помощью ИИ и машинного обучения. Большинство курсов по ML скучны, чересчур академичны и не учат тому, как доводить продукт до реального запуска.А этот курс — другой. Это практическая, честная, максимально прикладная программа, котор
Бонусная часть курса предоставляет участникам доступ к дополнительным материалам из предыдущих когорт, включая воркшопы, гостевые лекции и сессии «вопрос–ответ». Это ценный источник практических кейсов, передового опыта и глубоких технических разборов.
It wasn’t easy, but we made it through. Thank you to everyone who took part in the campaign. Enjoy your learning!
I see there are a few participants are yet to pay and I can replace someone if needed..
Thanks..
Динамика складывается оптимистично. Присоединяйтесь!