Semantic Log Indexing & Search
Семантический поиск становится ключевым инструментом для построения интеллектуальных систем обработки данных. Этот курс выводит вас за рамки теории и показывает, как применить эмбеддинги и генеративный ИИ в реальном проекте по анализу логов — от сбора данных до создания полноценного интерфейса поиска по смыслу.
Вместо абстрактных примеров вы будете работать с полноценным наблюдательным стеком: логами, API, векторной БД и дашбордом. Такой подход позволяет увидеть, как технологии взаимодействуют друг с другом и как разворачивается полный цикл семантического поиска в продакшен-ориентированной среде.
Вы повторите принцип работы эмбеддингов и разберётесь, как они формируют основу семантического поиска. Особое внимание уделено тому, как выбирать модели, нормализовать векторы и готовить данные для эффективного индекса.
Вы создадите API, которое принимает логи, обрабатывает их и генерирует эмбеддинги в режиме реального времени. Отдельные блоки посвящены структурированию данных и улучшению качества извлечения смысла.
Курс показывает, как работать с коллекциями, точками и метаданными, а также как реализовать быстрый поиск по косинусному сходству. Вы узнаете, как оптимизировать хранение векторов и повысить скорость поиска на больших объёмах данных.
Вы разработаете дашборд, который позволяет искать в логах по смыслу, а не по ключевым словам. Отдельный модуль посвящён сравнению результатов семантического поиска с SQL-запросами в DuckDB, что помогает чётко увидеть преимущества каждого подхода.
Вы научитесь работать с логами через DuckDB, использовать WAL и выполнять аналитические запросы. Курс показывает, как сочетать SQL и векторный поиск, чтобы получать максимально точные и полезные результаты.
Вы упакуете FastAPI, qdrant, Streamlit и DuckDB в единое окружение и научитесь управлять инфраструктурой с помощью Docker Compose. Это позволит вам запускать полноценный стек на любой машине и легко переносить проект.
Готовый рабочий проект, который можно адаптировать для собственных задач: поиск по логам, документации, тикетам, пользовательским запросам и любым другим текстовым данным. По завершении курса вы будете понимать механику семантической индексации и уметь применять её на практике — от теории до развёртывания.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
https://github.com/team-data-science/GenAI-DataObservability
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
