Azure становится всё более популярной платформой для компаний, использующих экосистему Microsoft365. Если вы хотите прокачать свои навыки инженера данных, то умение работать с Azure и автоматизировать инфраструктуру с помощью Terraform - ключевые компетенции. Именно поэтому мы создали этот курс «Azure ETL с Terraform».
На практическом проекте вы научитесь строить полноценное решение для обработки данных в Azure, объединяя возможности Terraform, Azure Data Factory, Synapse Analytics и Power BI.
Вы создадите полностью автоматизированный ETL-процесс:
В процессе работы вы реализуете архитектуру Lakehouse и Medallion (слои Bronze, Silver, Gold), чтобы ваш пайплайн был эффективным и масштабируемым.
В конце курса вы не только освоите принципы построения современных пайплайнов данных и автоматизации инфраструктуры, но и получите полноценный практический проект для вашего портфолио.
Что вы изучите на курсе
Введение в Azure и Terraform
Познакомитесь с ролью Azure в современном дата-ландшафте и ключевыми сервисами для инженеров данных: Data Factory, Data Lake и Synapse Analytics. Разберётесь, как Terraform помогает управлять ресурсами инфраструктуры как кодом (IaC), делая их создание и сопровождение масштабируемыми и надёжными.
Практическая настройка
Установите Terraform, настроите его для работы с Azure. Создадите Service Principal, настроите аутентификацию для безопасного автоматизированного развертывания ресурсов и подготовите рабочую среду для управления ресурсами.
Основы Terraform
Разберётесь в структуре проекта на Terraform, изучите основные команды и принципы модульной разработки.
Научитесь:
Реальное развертывание
Начнёте развертывание компонентов пайплайна: подключите Azure Data Factory к внешнему Soccer API для загрузки данных, настроите Azure Data Lake для хранения «сырых» данных. Вы научитесь совмещать ручные и автоматизированные подходы, как это делают в реальных проектах.
CI/CD для инфраструктуры
Разберётесь, как применять принципы CI/CD для инфраструктуры с помощью Terraform и Azure DevOps. Изучите:
Что будет дальше
В следующих частях курса вас ждёт углублённое изучение:
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Kristijan Bakarić
Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с различными фреймворками и инструментами, позволяя запускать приложения в мультиоблачной среде, локально или на границе сети (edge).
