Создание RAG-системы с нуля: от разработки до продакшена

Agentic RAG System — практический курс по созданию полноценной RAG-системы с нуля, ориентированной на использование в реальных производственных условиях. Курс является первым этапом образовательного проекта The Mother of AI (MOAI) и охватывает весь процесс разработки: от настройки инфраструктуры и обработки данных до интеллектуального поиска, интеграции языковых моделей, мониторинга и создания AI-агентов.

В течение семи недель вы разработаете собственную систему для интеллектуального поиска и анализа научных публикаций с arXiv. Проект объединяет автоматизированные конвейеры обработки данных на Apache Airflow, гибридный поиск с использованием BM25 и векторных представлений, генерацию ответов через LLM с помощью Ollama и агентные механизмы на базе LangGraph.

Особое внимание уделяется архитектуре, производительности и надёжности системы. Вы научитесь реализовывать потоковую генерацию ответов, отслеживать работу компонентов через Langfuse, использовать Redis для кэширования и создавать интеллектуальные механизмы проверки запросов, оценки релевантности документов и адаптивного поиска.

В отличие от курсов, ограничивающихся простыми демонстрациями, здесь рассматривается полноценная инженерная реализация с использованием более 23 современных инструментов и технологий. Вы будете работать с реальным исходным кодом, разбирать архитектурные решения и осваивать подходы, применяемые при разработке промышленных AI-систем.

Чему вы научитесь

Инфраструктура и инженерия данных

Вы изучите основы построения инфраструктуры для RAG-систем, научитесь разворачивать взаимосвязанные сервисы с помощью Docker и работать с FastAPI, PostgreSQL, OpenSearch и Apache Airflow. Разберёте принципы проектирования надёжных сервисов, обработки ошибок, повторных попыток выполнения операций и проверки работоспособности компонентов.

Сбор и обработка данных

Научитесь создавать автоматизированные конвейеры для загрузки, извлечения и обработки научных публикаций. Реализуете интеграцию с arXiv, обработку PDF-документов, нормализацию данных и сохранение метаданных. Особое внимание будет уделено проблемам, возникающим при работе с реальными источниками данных.

Интеллектуальный и гибридный поиск

Разберётесь в принципах полнотекстового поиска BM25, семантического поиска и векторных представлений. Освоите стратегии разбиения документов на фрагменты (chunking), построение поисковых индексов и объединение результатов разных методов поиска с помощью Reciprocal Rank Fusion (RRF).

Вы научитесь создавать гибридные поисковые механизмы, повышать релевантность результатов и анализировать качество извлечения информации.

Разработка полноценной RAG-системы

Объедините поиск и генерацию ответов в единую архитектуру. Научитесь интегрировать локальные языковые модели через Ollama, проектировать промпты, создавать API с потоковой передачей ответов и разрабатывать пользовательские интерфейсы для взаимодействия с системой.

Мониторинг, производительность и кэширование

Освоите инструменты наблюдаемости и диагностики AI-приложений. Научитесь отслеживать выполнение запросов с помощью Langfuse, анализировать задержки и ошибки, внедрять кэширование через Redis и оптимизировать производительность RAG-системы.

Агентные RAG-системы

На заключительном этапе вы расширите классическую RAG-архитектуру агентными возможностями с помощью LangGraph.

Вы реализуете механизмы проверки пользовательских запросов, автоматической оценки релевантности найденных документов, переформулирования запросов и адаптивного поиска. Система сможет самостоятельно выбирать дополнительные действия для повышения качества ответов.

Результат обучения

К завершению курса у вас будет полноценный практический проект — интеллектуальный помощник для поиска и анализа научных публикаций, объединяющий обработку данных, гибридный поиск, языковые модели и AI-агентов.

Вы получите представление о том, как проектировать, разрабатывать, тестировать и оптимизировать RAG-системы с учётом требований реальных производственных сред, а также сможете использовать полученные знания при создании собственных AI-приложений.

Курс подойдёт Python-разработчикам, AI/ML-инженерам, специалистам по Data Engineering и всем, кто хочет перейти от простых экспериментов с LLM к разработке полноценных интеллектуальных систем.