Google Cloud Platform (GCP) - одна из самых популярных облачных платформ в мире, предоставляющая обширный набор инструментов и сервисов для построения, управления и оптимизации пайплайнов данных. GCP позволяет эффективно хранить, обрабатывать, анализировать и визуализировать данные, помогая инженерам данных создавать масштабируемые и высокопроизводительные решения.
Что вы изучите на курсе
В этом практическом курсе вы шаг за шагом создадите собственный проект на GCP:
Извлечёте данные из внешнего API погоды
Обработаете их через пайплайн с использованием облачных сервисов GCP
Сохраните данные в серверной базе данных
Создадите визуализации с помощью Looker Studio
Курс поможет вам освоить GCP с нуля, а полученные навыки будут полезны и при работе с другими облачными платформами, такими как AWS, так как многие сервисы во многом схожи.
В дополнение к курсу, вы получите доступ к репозиторию на GitHub с обзором проекта и готовыми фрагментами кода, которые помогут быстрее повторить примеры из обучения.
Структура курса
Данные и цели проекта
Разберём архитектуру пайплайна, определим цели проекта и познакомимся с API для получения данных о погоде. Также вы научитесь настраивать аккаунт в Google Cloud и активировать необходимые сервисы (кстати, Google предоставляет $300 на бесплатное тестирование платформы!).
Подготовка проекта
Создадите проект в Google Cloud, активируете API и настроите расписания для автоматизации задач.
Создание пайплайна: извлечение данных из API
Настроите необходимые ресурсы для работы пайплайна:
Серверную базу данных MySQL через Cloud SQL
Виртуальную машину на базе Linux через Compute Engine для управления базой
Cloud Scheduler для вызова API по расписанию
Серверные функции для обработки данных
Очередь сообщений Pub/Sub для передачи данных между сервисами
Запись данных в базу данных
Научитесь писать серверные функции для сохранения данных в MySQL, тестировать процесс записи и убедитесь, что данные сохраняются корректно.
Визуализация данных
Настроите Looker Studio для создания наглядных визуализаций: построите графики пузырьковой диаграммы, временные ряды и организуете мониторинг погодных данных.
Этот курс даст вам практический опыт работы с облачными инструментами Google Cloud Platform и поможет развить ключевые навыки для работы инженером данных.
Посмотреть больше
Этот материал находится в платной подписке. Оформи премиум подписку и смотри или слушай
Data Engineering on GCP,
а также все другие курсы, прямо сейчас!
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Команда внимательно читает ваши комментарии и оперативно на них реагирует. Вы можете спокойно оставлять запросы на обновления или задавать любые вопросы о курсе здесь.
Microsoft Azure - это облачная платформа, предоставляющая более 200 продуктов и сервисов для хранения, управления данными, развертывания виртуальных машин и разработки приложений в облаке. Azure поддерживает работу с различными фреймворками и инструментами, позволяя запускать приложения в мультиоблачной среде, локально или на границе сети (edge).
Этот курс - идеальный старт для тех, кто хочет освоить облачные технологии и начать работать с Amazon Web Services (AWS), одной из самых популярных платформ для обработки данных. Курс особенно полезен для начинающих инженеров данных и тех, кто ищет первую работу в этой сфере.В рамках курса вы создадите полноценный end-to-end проект на основе данных из интернет-магазина. Шаг за шагом вы научитесь моделировать данные, строить пайплайны и работать с