Освойте построение современных Azure‑пайплайнов и автоматизацию инфраструктуры с помощью Terraform, создав полноценный ETL‑проект уровня продакшн. Этот курс поможет вам развить компетенции инженера данных и собрать портфолио, которое выделит вас на фоне других кандидатов.
О курсе
Вы шаг за шагом построите автоматизированный процесс обработки данных, объединяющий Terraform, Azure Data Factory, Synapse Analytics и Power BI. На практике создадите архитектуру Lakehouse, примените модель Medallion и развернёте полноценную инфраструктуру в Azure.
Что вы создадите
В ходе обучения вы разработаете законченный ETL‑пайплайн, который:
загружает данные из внешнего API;
обрабатывает их в безопасной и масштабируемой Azure‑среде;
структурирует данные по слоям Bronze, Silver и Gold;
готовит витрины для аналитики в Power BI.
Программа курса
Основы Azure и Terraform
Вы получите чёткое понимание роли Azure в современной дата‑инфраструктуре и изучите ключевые сервисы, необходимые инженеру данных:
Azure Data Factory для оркестрации;
Azure Data Lake Storage для хранения;
Synapse Analytics для обработки данных.
Также вы разберётесь в принципах IaC и поймёте, как Terraform автоматизирует инфраструктуру.
Настройка окружения
Вы выполните практическую подготовку рабочей среды:
установите Terraform;
создадите Service Principal;
настроите аутентификацию и безопасное развертывание ресурсов;
подготовите базовую структуру проекта.
Основы Terraform и модульный подход
Вы изучите структуру проекта, основные команды и подходы к модульности, позволяющие быстро разворачивать Azure‑ресурсы.
Практические навыки
развёртывание Azure Data Factory;
настройка Azure Data Lake Storage;
создание Synapse Analytics;
разработка переиспользуемых модулей Terraform.
Развёртывание пайплайна в Azure
На реальном проекте вы:
свяжете Data Factory с внешним Soccer API;
автоматизируете загрузку данных;
организуете хранение сырых данных в Data Lake;
поймёте, как сочетать ручную и автоматизированную конфигурацию, как в реальных командах.
CI/CD для Terraform и Azure
Вы научитесь применять подходы практической DevOps‑культуры:
CI — проверка, тестирование и сборка Terraform‑кода;
CD — автоматическое развёртывание изменений;
интеграция Terraform с Azure DevOps;
создание стабильных и повторяемых пайплайнов развертывания.
Продвинутые темы (следующий этап курса)
Работа с API для продвинутой интеграции данных;
Пакетная обработка в Azure Data Factory;
Продвинутая аналитика на Synapse Spark;
Оптимизация Lakehouse‑архитектуры для больших данных;
Полная автоматизация развертывания в нескольких средах.
Итог
По завершении курса вы освоите современные инструменты Azure и Terraform, научитесь строить надёжные пайплайны данных и получите полноценный практический проект, который можно добавить в портфолио и использовать при трудоустройстве.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Ограничение времени просмотра
Вы можете просматривать пробный урок только 10 минут. Получите полный доступ, чтобы смотреть без ограничений.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.