Dockerized ETL With AWS, TDengine & Grafana
Инженерам данных часто требуется быстро настроить простой ETL-скрипт, который эффективно выполняет свою задачу. В этом проекте вы узнаете, как легко реализовать такой ETL на AWS: подключить живые данные из погодного API и записывать их во временную базу данных TDengine.
Познакомьтесь с основами работы временных баз данных, их архитектурой и случаями применения.
Настройте и исследуйте внешний погодный API, и напишите Python-скрипт для чтения данных из этого API.
Упакуйте скрипт в Docker-контейнер и разверните его как серверлесс ETL с помощью Amazon Elastic Container Registry (ECR), Lambda и EventBridge.
Познакомьтесь с TDengine, настройте экземпляр через облако TDengine и сконфигурируйте базу данных.
Визуализируйте данные из API, сохраненные в TDengine, с помощью Grafana. Узнайте, как подключить TDengine к Grafana и создать дашборд для анализа данных.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
