Apache Airflow: Практическое руководство

Apache Airflow — это платформа, созданная сообществом для программного создания, планирования и мониторинга рабочих процессов. Он масштабируемый, динамичный, расширяемый и модулируемый. Без сомнения, освоение Airflow становится обязательным и привлекательным навыком для всех, кто работает с данными.

Чему вы научитесь на курсе:

• Объясняются основы Airflow, например, что такое Airflow, как работает планировщик и веб-сервер.
• Проект Forex Data Pipeline — это невероятный способ открыть для себя множество операторов в Airflow и разобраться со Slack, Spark, Hadoop и другими.
• Освоение ваших DAG является главным приоритетом, и вы сможете играть с часовыми поясами, модульным тестированием ваших DAG, структурированием вашей папки DAG и многим другим.
• Будет подробно объяснено масштабирование Airflow через различные исполнители, такие как Local Executor, Celery Executor и Kubernetes Executor. Вы узнаете, как специализировать своих воркеров, как добавлять новых воркеров, что происходит при сбое узла.
• Кластер Kubernetes из 3 узлов будет настроен с Rancher, Airflow и Kubernetes Executor локально для запуска ваших конвейеров данных.
• Расширенные концепции будут показаны на практических примерах, таких как создание шаблонов для ваших DAG, как сделать вашу DAG зависимой от другой, что такое Subdag и взаимоблокировки и многое другое.
• Вы настроите кластер Kubernetes в облаке с AWS EKS и Rancher, чтобы использовать Airflow вместе с Kubernetes Executor.
• Мониторинг чрезвычайно важен! Вот почему вы будете знать, как это сделать с помощью Elasticsearch и Grafana.
• Также будет обеспечена безопасность, чтобы ваш экземпляр Airflow соответствовал требованиям вашей компании. Указание ролей и разрешений для ваших пользователей с помощью RBAC, предотвращение доступа к пользовательскому интерфейсу Airflow с помощью аутентификации и пароля, шифрования данных и т. д.