Одна из ключевых задач при создании платформы данных и пайплайнов - это выбор подходящих хранилищ данных. Именно этой теме и посвящён данный курс.
Мы рассмотрим реляционные и NoSQL базы данных, а также хранилища данных (data warehouses) и озёра данных (data lakes). Вы узнаете, когда стоит использовать тот или иной тип хранилища и как правильно интегрировать его в свою архитектуру.
После прохождения курса вы будете понимать, как хранить данные и как выбирать подходящее хранилище под конкретные задачи. Это поможет вам лучше ориентироваться в типах хранилищ и принимать обоснованные решения в работе дата-инженером. В следующих курсах мы подробно разберём конкретные технологии из каждой категории.
Основы хранилищ данных
Сначала вы изучите базовые принципы: чем отличаются OLTP (операционные транзакционные системы) и OLAP (аналитические системы), и в каких сценариях применяются. Также вы узнаете, что такое ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform) и как эти подходы связаны с выбором хранилищ данных. В конце раздела я поделюсь ресурсом, где можно подробнее изучить типы хранилищ и сравнить их между собой.
Реляционные базы данных
Мы пройдём пошаговое руководство по выбору подходящего хранилища данных, которым вы сможете пользоваться в своей работе. Затем подробнее рассмотрим реляционные базы данных: вы узнаете про принципы CRUD и ACID, а также познакомитесь с примерами конкретных СУБД.
NoSQL базы данных
Здесь вы узнаете, что такое NoSQL, какие виды таких баз существуют (документные, колоночные, временные, поисковые), в чём их особенности и для каких задач они подходят. Также мы обсудим компромиссы между скоростью чтения и записи и важность постановки целей при выборе хранилища.
Хранилища и озёра данных
В завершении курса вы узнаете, что такое хранилища данных (Data Warehouses) и озёра данных (Data Lakes), в чём между ними разница и в каких случаях использовать каждое из решений.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Andreas Kretz
Надёжная концепция безопасности для платформ и пайплайнов - критически важна. Почти каждый может собрать Proof of Concept без должного уровня защиты, но если вы хотите стать хорошим дата-инженером, вы обязаны понимать, как защищать свою работу и данные.Именно поэтому я создал этот курс по безопасности - чтобы вы были хорошо подготовлены к своей роли дата-инженера. В курсе мы рассмотрим базовые, но крайне важные темы, с которыми вы будете сталкива
Andreas Kretz
Дата-пайплайны - ключевой элемент любой платформы Data Science. Без них невозможна ни загрузка данных, ни запуск моделей машинного обучения. Этот практический курс продолжительностью 170 минут научит вас создавать потоковые (streaming), пакетные (batch) и машинные (ML) пайплайны, используя проверенные шаблоны и примеры для популярных облачных платформ.
Andreas Kretz
Во время моих коучинг-сессий снова и снова всплывает одна важная тема - проектирование схем. Поэтому я решил создать отдельный курс в академии, чтобы подробнее объяснить, как разрабатывать схемы данных для различных хранилищ.В качестве учебного примера мы будем использовать e-commerce-датасет, знакомый вам из других курсов. Я также включил реальные схемы из коучинга, чтобы показать, как проектирование может выглядеть в разных сценариях.
Eka Ponkratova
Реляционное моделирование широко применяется при построении транзакционных баз данных. Возможно, вы скажете: «Но я не собираюсь становиться backend-инженером». Однако знание не только того, как перемещать данные, но и как грамотно их хранить, - ключевой навык. Это включает в себя создание масштабируемой структуры данных, обеспечивающей быструю обработку запросов и эффективное извлечение информации.
Andreas Kretz
В роли инженера данных вы будете регулярно работать с аналитическими платформами, где компании хранят данные в Data Lakes и Data Warehouses для построения визуализаций и создания моделей машинного обучения.Современные хранилища данных, такие как AWS Redshift, Google BigQuery и Snowflake, позволяют загружать данные напрямую из файлов в Data Lake. Эта интеграция делает работу с хранилищами гибкой и удобной для аналитических задач.
