Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с различными фреймворками и инструментами, позволяя запускать приложения в мультиоблачной среде, локально или на границе сети (edge).
Что вы изучите на курсе
В этом курсе под руководством Кристиана Бакарича вы создадите потоковый пайплайн обработки данных в Azure на практике. В рамках проекта вы научитесь использовать ключевые сервисы Azure для обработки потока данных с Twitter в формате JSON, включая:
APIM (API Management) - для приема данных,
Blob Storage - для хранения,
Azure Functions - для обработки,
Cosmos DB - для хранения обработанных данных,
Power BI - для визуализации данных.
Структура проекта
Введение и архитектура
Познакомитесь с общей архитектурой решения и ключевыми компонентами пайплайна.
Создание и отправка данных
Напишете JSON-файл с сообщениями, создадите Python-скрипт для отправки объектов в формате JSON через HTTP-запросы в Azure API Management.
Разработка и деплой функций Azure
Научитесь создавать и развертывать функции Azure на Python с использованием Visual Studio Code, создадите проект функции с базовой логикой.
Интеграция сервисов
Настроите и объедините Event Hubs, Azure Functions и Cosmos DB, научитесь записывать сообщения из Event Hub в Cosmos DB.
Визуализация данных в Power BI
Подключите Power BI Desktop к базе Cosmos DB для визуализации данных в реальном времени.
Необходимые знания и требования
Аккаунт в Azure
Базовые навыки программирования (Python)
Основы работы с хранилищами данных
Основы API (рекомендуется пройти курс «Проектирование и разработка API с FastAPI»)
Основы работы с очередями сообщений
Посмотреть больше
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Ограничение времени просмотра
Вы можете просматривать пробный урок только 10 минут. Получите полный доступ, чтобы смотреть без ограничений.
Кристиан - специалист, сочетающий в себе научный и инженерный подход, работающий в международной энергетической компании с 2013 года.Половину своей карьеры он посвятил разведке нефти и газа в качестве геолога-геофизика, а вторую половину - проектам по аналитике и инженерии в области обработки подземных данных. В последние годы он активно занимается цифровизацией и автоматизацией операций.Кристиан обладает обширными знаниями в различных областях,