Инженерия данных на Azure — это практический курс, который поможет вам освоить ключевые сервисы экосистемы Microsoft Azure и научиться создавать полноценные потоковые пайплайны обработки данных. Курс сфокусирован на реальных рабочих сценариях и позволяет применить полученные знания сразу на практике, что делает обучение максимально прикладным и ценным для будущей работы инженера данных.
Кому подойдет этот курс
Курс будет полезен тем, кто хочет развить навыки работы с облачными сервисами и построением потоковых систем, включая:
Начинающих инженеров данных.
Разработчиков, желающих перейти в сферу обработки данных.
Специалистов, работающих с аналитикой и интеграцией данных.
IT-инженеров, изучающих Azure и облачные архитектуры.
Что вы изучите
На курсе под руководством Кристиана Бакарича вы создадите рабочий потоковый пайплайн данных в Azure. Шаг за шагом вы освоите ключевые сервисы платформы и научитесь связывать их в единый поток обработки данных.
Ключевые сервисы Azure
API Management (APIM) — прием и маршрутизация данных.
Blob Storage — гибкое хранение необработанных данных.
Azure Functions — серверлесс-обработка сообщений.
Cosmos DB — высокодоступное хранилище обработанных данных.
Power BI — построение визуализаций в реальном времени.
Структура проекта
Вы создадите полностью рабочий пайплайн, который собирает данные из Twitter, обрабатывает их и отображает в Power BI. Каждый модуль — это отдельный этап создаваемой архитектуры.
1. Введение и архитектура
Разбор общей архитектуры проекта.
Понимание ролей каждого сервиса в пайплайне.
2. Создание и отправка данных
Работа с JSON-данными.
Создание Python-скрипта для отправки сообщений в APIM через HTTP.
3. Разработка и деплой Azure Functions
Создание сервераless-функции на Python в VS Code.
Размещение (деплой) функции в облаке.
4. Интеграция сервисов
Настройка Event Hubs, Azure Functions и Cosmos DB.
Обработка сообщений и запись результатов в Cosmos DB.
5. Визуализация данных
Подключение Power BI Desktop к Cosmos DB.
Создание визуализаций в реальном времени.
Необходимые знания и требования
Чтобы комфортно пройти курс, вам понадобятся:
Аккаунт в Azure.
Базовые навыки программирования на Python.
Понимание принципов работы хранилищ данных.
Знание основ API. (При необходимости рекомендуется курс «Проектирование и разработка API с FastAPI».)
Представление об очередях сообщений и потоковых данных.
Ключевые преимущества курса
Практический проект, который можно использовать как портфолио.
Знакомство с популярными сервисами Azure, востребованными в индустрии.
Формирование представления о современном подходе к потоковой обработке данных.
Возможность применить навыки сразу на реальных задачах.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Ограничение времени просмотра
Вы можете просматривать пробный урок только 10 минут. Получите полный доступ, чтобы смотреть без ограничений.
Кристиан - специалист, сочетающий в себе научный и инженерный подход, работающий в международной энергетической компании с 2013 года.Половину своей карьеры он посвятил разведке нефти и газа в качестве геолога-геофизика, а вторую половину - проектам по аналитике и инженерии в области обработки подземных данных. В последние годы он активно занимается цифровизацией и автоматизацией операций.Кристиан обладает обширными знаниями в различных областях,