Dockerized ETL With AWS, TDengine & Grafana
Этот практический курс поможет вам быстро освоить контейнеризацию ETL‑процессов в AWS, научиться работать с живыми потоками погодных данных и эффективно сохранять их во временную базу TDengine с последующей визуализацией в Grafana. Вы получите навыки, которые применимы в реальных дата-инженерных проектах.
Разберете ключевые особенности time‑series DB, научитесь понимать их архитектуру, преимущества и типовые сценарии применения в реальных проектах.
Освоите подключение к публичному погодному API, научитесь писать Python‑скрипт для регулярного опроса API, обработки, нормализации и подготовки данных к дальнейшей загрузке.
На практике упакуете ETL‑скрипт в Docker‑контейнер и развернете его в AWS. Узнаете, как использовать Amazon ECR для хранения контейнеров и запускать ETL как серверлесс‑задачу через AWS Lambda и EventBridge.
Настроите облачный экземпляр TDengine, создадите структуры хранения, оптимизированные под временные ряды, и научитесь безопасно подключать ETL‑процессы к базе.
Подключите TDengine к Grafana, создадите собственный дашборд и научитесь визуализировать погодные данные, полученные через ваш ETL‑конвейер.
Вы создадите полностью рабочий ETL‑проект на AWS — от получения данных до визуализации.
Docker, AWS Lambda, EventBridge, TDengine и Grafana — инструменты, востребованные на рынке и используемые в высоконагруженных системах.
Курс помогает развить умение создавать надежные ETL‑пайплайны и интегрировать их в облачные окружения.
По завершении курса у вас будет собственный контейнеризированный ETL‑проект в AWS, работающая база TDengine и дашборд Grafana, который визуализирует реальные погодные данные — отличный старт для портфолио инженера данных.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
