В роли инженера данных вы будете регулярно работать с аналитическими платформами, где компании хранят данные в Data Lakes и Data Warehouses для построения визуализаций и создания моделей машинного обучения.
Современные хранилища данных, такие как AWS Redshift, Google BigQuery и Snowflake, позволяют загружать данные напрямую из файлов в Data Lake. Эта интеграция делает работу с хранилищами гибкой и удобной для аналитических задач.
В этом курсе вы научитесь:
Основы Data Warehouses и Data Lakes
Практика на GCP: Cloud Storage, BigQuery и Data Studio
Практика на AWS: S3, Athena, Glue и Quicksight
Резюме и бонус-урок: AWS Redshift Spectrum
Необходимые знания
Этот курс поможет вам освоить современные подходы к построению систем хранения и обработки данных и научиться эффективно использовать возможности Data Lakes и Data Warehouses для аналитики.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Andreas Kretz
Во время моих коучинг-сессий снова и снова всплывает одна важная тема - проектирование схем. Поэтому я решил создать отдельный курс в академии, чтобы подробнее объяснить, как разрабатывать схемы данных для различных хранилищ.В качестве учебного примера мы будем использовать e-commerce-датасет, знакомый вам из других курсов. Я также включил реальные схемы из коучинга, чтобы показать, как проектирование может выглядеть в разных сценариях.
Andreas Kretz
Одна из ключевых задач при создании платформы данных и пайплайнов - это выбор подходящих хранилищ данных. Именно этой теме и посвящён данный курс.Мы рассмотрим реляционные и NoSQL базы данных, а также хранилища данных (data warehouses) и озёра данных (data lakes). Вы узнаете, когда стоит использовать тот или иной тип хранилища и как правильно интегрировать его в свою архитектуру.После прохождения курса вы будете понимать, как хранить данные и как
