GenAI RAG with LlamaIndex, Ollama and Elasticsearch
Создайте локальную RAG‑систему на базе LlamaIndex и Ollama, чтобы автоматизировать поиск по PDF‑документам и строить обоснованные ответы с помощью локально развернутой модели Mistral. Курс помогает не просто повторить шаблон, а понять, как проектировать надежный, воспроизводимый и расширяемый RAG‑конвейер для реальных задач: от обработки резюме до продакшн‑подходов.
Вы шаг за шагом создадите локальный стек: загрузка PDF, извлечение текста, формирование структурированного JSON, разбиение на чанки, векторизация, индексирование в Elasticsearch и интерактивный поиск через Streamlit. Затем вы подключите генерацию ответов через Ollama и адаптируете систему под разные сценарии поиска.
Вы разберетесь с концепцией Retrieval-Augmented Generation и увидите, как правильное извлечение релевантных фрагментов повышает точность и достоверность ответов LLM.
Логика RAG будет построена на LlamaIndex: подключение источников данных, управление чанкованием, настройка retriever’ов и моделей, а также оптимизация перекрытий и размеров чанков.
Вы реализуете API для загрузки файлов, извлечения текста, генерации JSON и отправки данных в поисковый индекс.
Научитесь извлекать текст из PDF, формировать аккуратные JSON-структуры с помощью локальной Mistral, обрабатывать ошибки и создавать устойчивые промпты.
Создадите индекс с векторными представлениями и вспомогательными полями. Освоите разницу между keyword‑поиском и векторным поиском.
Вы сможете проверять корректность индексированных данных, исследовать точность поиска, проверять отдельные документы и визуализировать результаты.
Создадите чат, который будет обращается к вашему RAG‑конвейеру, покажет найденные фрагменты и позволит применять фильтры и метаданные (например, навыки или местоположение).
Вы соберёте всю систему — FastAPI, Elasticsearch, Kibana, Streamlit и Ollama — в единое Docker Compose окружение, обеспечив предсказуемое развертывание и удобство разработки.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
