Fundamentals of Apache Airflow
Этот практический курс начинается с основ и шаг за шагом подводит вас к построению реальных сценариев оркестрации - от повторных попыток выполнения задач до интеграции со Spark и загрузки внешних данных.
Переместить данные из точки A в точку B - лишь малая часть задачи. Важно, чтобы данные доставлялись точно, надёжно и автоматически - и здесь на помощь приходит Apache Airflow.
Вы научитесь превращать хаотичные, вручную настроенные пайплайны в чётко организованные рабочие процессы. Начнём с понимания архитектуры Airflow и его ключевых компонентов, а затем освоим более продвинутые приёмы: настройка повторных попыток, обработка сбоев, использование сенсоров, работа с Apache Spark и автоматическая загрузка данных из внешних источников в data lake.
Курс подойдёт как начинающим дата-инженерам, так и тем, кто хочет улучшить свои навыки оркестрации. Вы получите реальные практические инструменты для создания масштабируемых и надёжных систем обработки данных.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
https://github.com/mushketyk/ztm-data-engineering/tree/main/04-orchestration-with-airflow
Независимо от того, начинаете ли вы изучать программирование или хотите усовершенствовать свои навыки, Академия Zero To Mastery научит вас React, Javascript, Python, CSS и многим другим вещам, чтобы помочь вам продвинуться по карьерной лестнице, получить работу и добиться успеха в некоторых ведущих компаниях.
