Семантический поиск - один из самых практичных способов применения генеративного ИИ в реальных проектах по обработке данных. В этом курсе мы выходим за рамки базового знакомства с эмбеддингами (из курса The Hidden Foundation of GenAI) и начинаем использовать их на практике. Вы научитесь строить полноценный конвейер семантического поиска с нуля: от создания эмбеддингов и их хранения в векторной базе данных до выполнения запросов на естественном языке.
Курс построен вокруг реального проекта по наблюдаемости данных. Вы создадите пайплайн, который собирает логи, обрабатывает их с помощью FastAPI и сохраняет эмбеддинги в qdrant - высокопроизводительном векторном хранилище. Затем вы разработаете дашборд на Streamlit, позволяющий искать по логам не по ключевым словам, а по смыслу, сравнивая результаты с традиционными SQL-запросами в DuckDB.
Ключевые шаги курса:
По завершении курса вы будете не только понимать механику семантического поиска, но и иметь готовый рабочий проект, который можно адаптировать для собственных решений на базе ИИ.
https://github.com/team-data-science/GenAI-DataObservability
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
udemy
Почему стоит изучить DuckDB? DuckDB - одна из самых быстрорастущих технологий, за последние два года количество поисковых запросов увеличилось на 1200%! Это неслучайно: DuckDB предоставляет мощные аналитические возможности, схожие с PostgreSQL, но позволяет запускать локальные базы данных без сложных настроек и затрат.
