GenAI RAG with LlamaIndex, Ollama and Elasticsearch
Retrieval-Augmented Generation (RAG) - это следующий практический шаг после семантического поиска и индексации. В этом курсе вы создадите полноценный локальный RAG-конвейер, который обрабатывает PDF-файлы, разбивает тексты на фрагменты, сохраняет векторы в Elasticsearch, извлекает релевантный контекст и генерирует обоснованные ответы с помощью модели Mistral, запущенной локально через Ollama.
Мы пройдём путь от начала до конца на конкретном сценарии: поиск по резюме студентов, чтобы отвечать на вопросы вроде «Кто работал в Ирландии?» или «У кого есть опыт с Apache Spark?». Вы настроите контейнеризированную инфраструктуру на Docker Compose (FastAPI, Elasticsearch, Kibana, Streamlit, Ollama) и свяжете всё это с LlamaIndex, чтобы сосредоточиться на логике, а не на шаблонном коде. По ходу изучения вы узнаете, где RAG действительно эффективен, а где возникают сложности - например, с точностью, полнотой и "галлюцинациями" модели - и как проектировать решения для продакшена.
К концу курса у вас будет полноценное приложение, которое можно развернуть локально:
загрузка PDF - извлечение текста - преобразование в JSON - разбиение и векторизация - индексирование в Elasticsearch - интерактивный поиск через Streamlit - генерация ответов с помощью Mistral.
Что вы изучите
От поиска к RAG
Вы расширите знания о семантическом поиске и научитесь применять его для RAG: начнете с получения релевантных частей, затем будете генерировать на их основе обоснованные ответы. Узнаете, как LlamaIndex интегрирует ваши данные с LLM, и почему важны размер и перекрытие «чанков» для точности.
Создание конвейера
С помощью FastAPI вы реализуете загрузку и обработку PDF: извлечение текста, формирование JSON, разбиение, создание эмбеддингов и индексирование в Elasticsearch, с минимальным количеством шаблонного кода благодаря LlamaIndex.
Работа с Elasticsearch
Создадите индекс для резюме с векторов и метаданных. Научитесь отличать векторный поиск от поиска по ключевым словам, разберетесь, как хранятся векторные поля и как исследовать документы и результаты через Kibana.
Интерфейс на Streamlit
Создадите простой чат-интерфейс на Streamlit для взаимодействия на естественном языке. Включите режим отладки, чтобы видеть, какие фрагменты были использованы для ответа, и примените метаданные (например, фильтрацию по имени) для повышения точности.
Обработка и формирование JSON
Извлечете текст из PDF с помощью PyMuPDF, затем создадите аккуратный JSON через Ollama (Mistral), сохраняя структуру и символы. Освоите обработку ошибок форматирования и методы надежного промптирования.
Улучшение качества ответов
Изучите практические приемы для повышения точности:
Docker-среда
Соберете весь стек в Docker Compose: FastAPI, Elasticsearch, Kibana, Streamlit и Ollama (Mistral), чтобы развернуть систему локально с предсказуемой конфигурацией.
Бонус: Паттерны для продакшена
Вы узнаете, как масштабировать прототип до производственного уровня:
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Модели искусственного интеллекта знают только то, на чём они были обучены - в основном это «свободная» информация из интернета: статьи, документация к API, книги и многое другое. Но что делать, если нужно, чтобы модель ИИ понимала данные за пределами её обучающего корпуса?В этом курсе вы освоите подход Retrieval Augmented Generation (RAG), позволяющий расширять возможности LLM с помощью ваших собственных данных. Вы узнаете, как работают эмбеддинг
Prompt Engineering
Курс посвящён практическому и теоретическому изучению Retrieval-Augmented Generation (RAG). Вы узнаете не только «как», но и «почему» работают эти методы, а также научитесь создавать надёжные приложения формата «чат с документами» с использованием современных LLM и продвинутых техник RAG.В программе - построение базового пайплайна, переход к продвинутым стратегиям вроде re-ranking и расширения запросов, работа как с коммерческими, так и с локальн
newline (ex fullstack.io)
В этом курсе вы научитесь готовить и публиковать гигантские изображения в вебе с помощью технологии масштабирования OpenSeadragon. Курс рассчитан на веб-разработчиков, которые хотят создавать по-настоящему уникальные интерфейсы с упором на иммерсивные впечатления, высокое разрешение и интерактивные оверлеи с использованием OpenSeadragon и Node.js.
Jason Liu
Бонусная часть курса предоставляет участникам доступ к дополнительным материалам из предыдущих когорт, включая воркшопы, гостевые лекции и сессии «вопрос–ответ». Это ценный источник практических кейсов, передового опыта и глубоких технических разборов.
