Google Cloud Platform (GCP) - одна из самых популярных облачных платформ в мире, предоставляющая обширный набор инструментов и сервисов для построения, управления и оптимизации пайплайнов данных. GCP позволяет эффективно хранить, обрабатывать, анализировать и визуализировать данные, помогая инженерам данных создавать масштабируемые и высокопроизводительные решения.
Что вы изучите на курсе
В этом практическом курсе вы шаг за шагом создадите собственный проект на GCP:
Извлечёте данные из внешнего API погоды
Обработаете их через пайплайн с использованием облачных сервисов GCP
Сохраните данные в серверной базе данных
Создадите визуализации с помощью Looker Studio
Курс поможет вам освоить GCP с нуля, а полученные навыки будут полезны и при работе с другими облачными платформами, такими как AWS, так как многие сервисы во многом схожи.
В дополнение к курсу, вы получите доступ к репозиторию на GitHub с обзором проекта и готовыми фрагментами кода, которые помогут быстрее повторить примеры из обучения.
Структура курса
Данные и цели проекта
Разберём архитектуру пайплайна, определим цели проекта и познакомимся с API для получения данных о погоде. Также вы научитесь настраивать аккаунт в Google Cloud и активировать необходимые сервисы (кстати, Google предоставляет $300 на бесплатное тестирование платформы!).
Подготовка проекта
Создадите проект в Google Cloud, активируете API и настроите расписания для автоматизации задач.
Создание пайплайна: извлечение данных из API
Настроите необходимые ресурсы для работы пайплайна:
Серверную базу данных MySQL через Cloud SQL
Виртуальную машину на базе Linux через Compute Engine для управления базой
Cloud Scheduler для вызова API по расписанию
Серверные функции для обработки данных
Очередь сообщений Pub/Sub для передачи данных между сервисами
Запись данных в базу данных
Научитесь писать серверные функции для сохранения данных в MySQL, тестировать процесс записи и убедитесь, что данные сохраняются корректно.
Визуализация данных
Настроите Looker Studio для создания наглядных визуализаций: построите графики пузырьковой диаграммы, временные ряды и организуете мониторинг погодных данных.
Этот курс даст вам практический опыт работы с облачными инструментами Google Cloud Platform и поможет развить ключевые навыки для работы инженером данных.
Посмотреть больше
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Ограничение времени просмотра
Вы можете просматривать пробный урок только 10 минут. Получите полный доступ, чтобы смотреть без ограничений.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.