Главная страницаКатегория другоеApache Airflow: Практическое руководство

Apache Airflow: Практическое руководство

Name: Apache Airflow: Практическое руководство
Price: 12.5 USD
Rating: 5 (4 reviews)

Apache Airflow: The Hands-On Guide

udemy

★5 (всего оценок - 4)

Продолжительность

13 ч 46 мин

Категория

Другое

Количество уроков

104 Видео

Дата добавления

17 дек. 2022 г., 23:24

Язык

Английский

Дата выхода

13 янв. 2022 г., 01:00

Дата обновления

29 апр. 2026 г., 16:39

Apache Airflow стал стандартом в индустрии для управления, автоматизации и оркестрации рабочих процессов. Этот курс поможет вам не только разобраться в основных концепциях, но и уверенно применять Airflow для построения масштабируемых дата‑пайплайнов в реальных проектах.

Почему стоит изучать Apache Airflow

Современные процессы обработки данных становятся всё сложнее, а бизнес‑требования — динамичнее. Airflow позволяет гибко управлять зависимостями, планированием задач и мониторингом, что делает его ключевым инструментом для дата‑инженеров и аналитиков.

Что включает курс

Основы Airflow

Принципы работы Airflow: архитектура, планировщик, веб‑сервер, метаданные.
Понимание DAG, операторов, сенсоров и триггеров.
Лучшие практики написания и структурирования DAG.

Практический проект: Forex Data Pipeline

Реальный пайплайн позволит вам изучить возможности Airflow на практике, включая:

Работу с разными типами операторов.
Интеграции со Slack, Spark, Hadoop.
Организацию уведомлений и обработку больших данных.

Тестирование и оптимизация DAG

Модульное тестирование задач.
Работа с часовыми поясами и расписаниями.
Шаблонизация DAG и создание переиспользуемых паттернов.

Масштабирование Airflow

Исполнители и архитектуры

Local Executor, Celery Executor, Kubernetes Executor — сравнительный разбор.
Добавление и настройка воркеров.
Поведение системы при сбоях и способы повышения отказоустойчивости.

Работа в Kubernetes

Развёртывание локального кластера из 3 узлов через Rancher.
Использование Kubernetes Executor для динамического масштабирования задач.
Создание полноценного кластера в AWS EKS.

Продвинутые возможности Airflow

Создание зависимых DAG и работа с ExternalTask.
SubDAG, deadlocks, лучшие практики предотвращения взаимоблокировок.
Оптимизация производительности пайплайнов.

Мониторинг и безопасность

Мониторинг рабочих процессов

Интеграция с Elasticsearch и Grafana.
Аналитика логов, визуализация метрик и алерты.

Настройка безопасности

Аутентификация, парольная защита и контроль доступа (RBAC).
Шифрование данных и защита конфиденциальной информации.
Настройка ролей и разрешений для корпоративных команд.

Кому подойдёт курс

Дата‑инженерам, желающим освоить продвинутую оркестрацию пайплайнов.
Аналитикам и BI‑специалистам, работающим с регулярной обработкой данных.
Разработчикам, внедряющим микросервисную архитектуру и автоматизацию процессов.

Итоги

Пройдя этот курс, вы получите полное понимание Apache Airflow — от основ до продвинутых сценариев в Kubernetes и облаке. Вы научитесь создавать, масштабировать и мониторить надёжные пайплайны, что сделает вас востребованным специалистом в сфере обработки данных.

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:02:39
Important Prerequisites
Урок 2. 00:04:09
The Roadmap
Урок 3. 00:02:20
Who I am?
Урок 4. 00:01:27
Development Environment
Урок 5. 00:01:21
Introduction
Урок 6. 00:02:03
Why Airflow?
Урок 7. 00:11:05
What is Airflow?
Урок 8. 00:07:03
How Airflow works?
Урок 9. 00:19:09
[Practice] Installing Airflow 2.0
Урок 10. 00:11:17
[Practice] Quick tour of Airflow UI
Урок 11. 00:09:51
[Practice] Quick tour of Airflow CLI
Урок 12. 00:01:43
Introduction
Урок 13. 00:14:12
Docker reminder
Урок 14. 00:01:56
Docker performances
Урок 15. 00:05:26
Project: The Forex Data Pipeline
Урок 16. 00:02:46
What is a DAG?
Урок 17. 00:09:35
[Practice] Define your DAG
Урок 18. 00:03:51
What is an Operator?
Урок 19. 00:14:44
[Practice] Check if the API is available - HttpSensor
Урок 20. 00:10:03
[Practice] Check if the currency file is available - FileSensor
Урок 21. 00:08:22
[Practice] Download the forex rates from the API - PythonOperator
Урок 22. 00:07:07
[Practice] Save the forex rates into HDFS - BashOperator
Урок 23. 00:08:36
[Practice] Create the Hive table forex_rates - HiveOperator
Урок 24. 00:09:10
[Practice] Process the forex rates with Spark - SparkSubmitOperator
Урок 25. 00:08:55
[Practice] Send email notifications - EmailOperator
Урок 26. 00:09:18
[Practice] Send Slack notifications - SlackWebhookOperator
Урок 27. 00:06:19
[Practice] Add dependencies between tasks
Урок 28. 00:03:37
[Practice] The Forex Data Pipeline in action!
Урок 29. 00:00:50
Introduction
Урок 30. 00:06:47
Start_date and schedule_interval parameters demystified
Урок 31. 00:11:04
[Practice] Manipulating the start_date with schedule_interval
Урок 32. 00:04:02
Backfill and Catchup
Урок 33. 00:14:59
[Practice] Catching up non triggered DAGRuns
Урок 34. 00:06:51
Dealing with timezones in Airflow
Урок 35. 00:13:55
[Practice] Making your DAGs timezone aware
Урок 36. 00:03:58
How to make your tasks dependent
Урок 37. 00:12:27
[Practice] Creating task dependencies between DagRuns
Урок 38. 00:04:39
How to structure your DAG folder
Урок 39. 00:09:35
[Practice] Organizing your DAGs folder
Урок 40. 00:07:17
[Practice] How the Web Server works
Урок 41. 00:04:20
How to deal with failures in your DAGs
Урок 42. 00:18:33
[Practice] Retry and Alerting
Урок 43. 00:07:18
How to test your DAGs
Урок 44. 00:14:12
[Practice] Unit testing your DAGs
Урок 45. 00:01:04
Introduction
Урок 46. 00:03:39
Sequential Executor with SQLite
Урок 47. 00:07:18
Local Executor with PostgreSQL
Урок 48. 00:18:36
[Practice] Executing tasks in parallel with the Local Executor
Урок 49. 00:15:40
[Practice] Ad Hoc Queries with the metadata database
Урок 50. 00:05:02
Scale out Apache Airflow with Celery Executors and Redis
Урок 51. 00:07:02
[Practice] Set up the Airflow cluster with Celery Executors and Docker
Урок 52. 00:11:16
[Practice] Distributing your tasks with the Celery Executor
Урок 53. 00:21:00
[Practice] Adding new worker nodes with the Celery Executor
Урок 54. 00:12:45
[Practice] Sending tasks to a specific worker with Queues
Урок 55. 00:11:19
[Practice] Pools and priority_weights: Limiting parallelism - prioritizing tasks
Урок 56. 00:07:01
Kubernetes Reminder
Урок 57. 00:05:17
Scaling Airflow with Kubernetes Executors
Урок 58. 00:10:52
[Practice] Set up a 3 nodes Kubernetes Cluster with Vagrant and Rancher
Урок 59. 00:09:57
[Practice] Installing Airflow with Rancher and the Kubernetes Executor
Урок 60. 00:10:46
[Practice] Running your DAGs with the Kubernetes Executor
Урок 61. 00:00:56
Introduction
Урок 62. 00:02:37
Minimising Repetitive Patterns With SubDAGs
Урок 63. 00:09:50
[Practice] Grouping your tasks with SubDAGs and Deadlocks
Урок 64. 00:03:11
Making different paths in your DAGs with Branching
Урок 65. 00:09:49
[Practice] Make Your First Conditional Task Using Branching
Урок 66. 00:04:39
Trigger rules for your tasks
Урок 67. 00:13:14
[Practice] Changing how your tasks are triggered
Урок 68. 00:04:41
Avoid hard coding values with Variables, Macros and Templates
Урок 69. 00:18:33
[Practice] Templating your tasks
Урок 70. 00:04:00
How to share data between your tasks with XCOMs
Урок 71. 00:09:59
[Practice] Sharing (big?) data with XCOMs
Урок 72. 00:02:18
TriggerDagRunOperator or when your DAG controls another DAG
Урок 73. 00:05:25
[Practice] Trigger a DAG from another DAG
Урок 74. 00:04:43
Dependencies between your DAGs with the ExternalTaskSensor
Урок 75. 00:03:48
[Practice] Make your DAGs dependent with the ExternalTaskSensor
Урок 76. 00:01:29
Introduction
Урок 77. 00:03:46
Quick overview of AWS EKS
Урок 78. 00:08:18
[Practice] Set up an EC2 instance for Rancher
Урок 79. 00:02:35
[Practice] Create an IAM User with permissions
Урок 80. 00:06:50
[Practice] Create an ECR repository
Урок 81. 00:06:22
[Practice] Create an EKS cluster with Rancher
Урок 82. 00:04:20
How to access your applications from the outside
Урок 83. 00:04:57
[Practice] Deploy Nginx Ingress with Catalogs (Helm)
Урок 84. 00:05:22
[Practice] Deploy and run Airflow with the Kubernetes Executor on EKS
Урок 85. 00:02:51
[Practice] Cleaning your AWS services
Урок 86. 00:01:29
Introduction
Урок 87. 00:03:44
How the logging system works in Airflow
Урок 88. 00:17:17
[Practice] Setting up custom logging
Урок 89. 00:14:41
[Practice] Storing your logs in AWS S3
Урок 90. 00:04:14
Elasticsearch Reminder
Урок 91. 00:18:09
[Practice] Configuring Airflow with Elasticsearch
Урок 92. 00:10:41
[Practice] Monitoring your DAGs with Elasticsearch
Урок 93. 00:04:34
Introduction to metrics
Урок 94. 00:12:13
[Practice] Monitoring Airflow with TIG stack
Урок 95. 00:11:31
[Practice] Triggering alerts for Airflow with Grafana
Урок 96. 00:03:00
Airflow maintenance DAGs
Урок 97. 00:00:55
Introduction
Урок 98. 00:16:55
[Practice] Encrypting sensitive data with Fernet
Урок 99. 00:07:21
[Practice] Rotating the Fernet Key
Урок 100. 00:03:25
[Practice] Hiding variables
Урок 101. 00:09:39
[Practice] Password authentication and filter by owner
Урок 102. 00:14:17
[Practice] RBAC UI
Урок 103. 00:10:42
What to expect from Airflow 2.0?
Урок 104. 00:19:36
[VIDEO] The DockerOperator: The basics and more

Автор - udemy

udemy

Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.

+198

Комментарии