Курс "Стриминг с Kafka и Spark" — это практический проект, в котором вы шаг за шагом создадите полноценный потоковый пайплайн: от получения данных в реальном времени до их визуализации. Вы научитесь работать с Kafka, Spark, FastAPI, MongoDB и Streamlit в единой экосистеме, полностью разворачивая инфраструктуру в Docker.
Курс рекомендуется разработчикам, аналитикам и инженерам по данным, которые хотят освоить потоковую обработку и интеграцию современных инструментов. Для комфортного прохождения желательно иметь базовые знания FastAPI, Docker, Kafka, Spark и MongoDB.
Вы разберете устройство end-to-end системы и поймете, как объединяются API, Kafka, Spark и MongoDB в единую потоковую инфраструктуру.
Вы создадите Docker‑окружение, развернете Kafka, настроите топики и подготовите API-сервис, который будет публиковать сообщения в Kafka.
Вы разработаете скрипт, который автоматизирует отправку данных в API и проверите, что вся цепочка корректно записывает инвойсы в MongoDB.
Завершающим этапом станет создание удобного интерфейса визуализации данных с использованием Streamlit. Вы построите интерактивные таблицы и панели для просмотра счетов‑фактур и товаров.
Этот курс позволит вам накопить практический опыт работы с системами стриминга и научиться строить современные конвейеры обработки данных — от поступления информации до интерактивной визуализации.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
