dbt (data build tool) - это инструмент трансформации данных с приоритетом SQL. Он позволяет просто и прозрачно преобразовывать, тестировать и документировать данные прямо внутри хранилища. Благодаря dbt, команды могут создавать надёжные наборы данных для аналитики, машинного обучения и бизнес-процессов - без необходимости выгружать данные наружу. Именно поэтому dbt становится ключевым инструментом в работе инженеров данных, и этот курс - идеальная отправная точка для его освоения.
Введение в dbt
Перед практикой вы узнаете:
Настройка: Snowflake, dbt Core и GitHub
Для практики вы:
Построение пайплайнов данных в dbt
Вы создадите цепочку моделей (pipelines), используя e-commerce-датасет. Вы будете использовать dbt Core, dbt Cloud и Snowflake для пошагового преобразования данных.
Материализации в dbt
После построения моделей вы научитесь сохранять результаты трансформаций:
Вы также узнаете, как работают внешние и внутренние источники dbt и зависимости между ними.
Тестирование моделей dbt
Вы научитесь тестировать модели - это ключевая часть надежной работы с данными:
Деплой и расписание запуска моделей
Теперь, когда модели работают локально, вы научитесь:
Вы изучите практики деплоя и планирования в dbt Cloud.
Расширенные возможности dbt
В завершении курса:
Что входит в курс
Требования
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
udemy
Вы ищете передовой способ извлечения и преобразования данных? Хотите узнать больше о dbt™ и о том, как его использовать? В этом курсе вы узнаете все о dbt™, от настройки облака dbt™, подключения его к Snowflake или к выбранному вами хранилищу, до разработки моделей, создания исходников, проведения тестирования, работы с документацией и многому другому. Этот курс предназначен для начинающих, мы рассмотрим реалистичный проек
