Этот практический курс начинается с основ и шаг за шагом подводит вас к построению реальных сценариев оркестрации - от повторных попыток выполнения задач до интеграции со Spark и загрузки внешних данных.
Переместить данные из точки A в точку B - лишь малая часть задачи. Важно, чтобы данные доставлялись точно, надёжно и автоматически - и здесь на помощь приходит Apache Airflow.
Вы научитесь превращать хаотичные, вручную настроенные пайплайны в чётко организованные рабочие процессы. Начнём с понимания архитектуры Airflow и его ключевых компонентов, а затем освоим более продвинутые приёмы: настройка повторных попыток, обработка сбоев, использование сенсоров, работа с Apache Spark и автоматическая загрузка данных из внешних источников в data lake.
Курс подойдёт как начинающим дата-инженерам, так и тем, кто хочет улучшить свои навыки оркестрации. Вы получите реальные практические инструменты для создания масштабируемых и надёжных систем обработки данных.
https://github.com/mushketyk/ztm-data-engineering/tree/main/04-orchestration-with-airflow
Независимо от того, начинаете ли вы изучать программирование или хотите усовершенствовать свои навыки, Академия Zero To Mastery научит вас React, Javascript, Python, CSS и многим другим вещам, чтобы помочь вам продвинуться по карьерной лестнице, получить работу и добиться успеха в некоторых ведущих компаниях.
Andreas Kretz
Apache Airflow - это независимый от платформы инструмент для оркестрации рабочих процессов, который предоставляет широкие возможности для создания и мониторинга как потоковых, так и пакетных (batch) пайплайнов. Даже самые сложные процессы легко реализуются с его помощью - и всё это с поддержкой ключевых платформ и инструментов мира Data Engineering, включая AWS, Google Cloud и другие.Airflow позволяет не только планировать и управлять процессами,
Apache Airflow — это платформа, созданная сообществом для программного создания, планирования и мониторинга рабочих процессов. Он масштабируемый, динамичный, расширяемый и модулируемый. Без сомнения, освоение Airflow становится обязательным и привлекательным навыком для всех, кто работает с данными.
Адиль Хаштамов
Apache Airflow это самый популярный workflow менеджер в экосистеме Python. Его используют такие IT-гиганты как Airbnb, Google, Amazon, Netflix и многие другие. Ни для кого не секрет, что практически во всех вакансиях на позицию дата-инженера присутствует требование опыта работы с Apache Airflow.
