dbt (data build tool) - это инструмент трансформации данных с приоритетом SQL. Он позволяет просто и прозрачно преобразовывать, тестировать и документировать данные прямо внутри хранилища. Благодаря dbt, команды могут создавать надёжные наборы данных для аналитики, машинного обучения и бизнес-процессов - без необходимости выгружать данные наружу. Именно поэтому dbt становится ключевым инструментом в работе инженеров данных, и этот курс - идеальная отправная точка для его освоения.
Введение в dbt
Перед практикой вы узнаете:
Настройка: Snowflake, dbt Core и GitHub
Для практики вы:
Построение пайплайнов данных в dbt
Вы создадите цепочку моделей (pipelines), используя e-commerce-датасет. Вы будете использовать dbt Core, dbt Cloud и Snowflake для пошагового преобразования данных.
Материализации в dbt
После построения моделей вы научитесь сохранять результаты трансформаций:
Вы также узнаете, как работают внешние и внутренние источники dbt и зависимости между ними.
Тестирование моделей dbt
Вы научитесь тестировать модели - это ключевая часть надежной работы с данными:
Деплой и расписание запуска моделей
Теперь, когда модели работают локально, вы научитесь:
Вы изучите практики деплоя и планирования в dbt Cloud.
Расширенные возможности dbt
В завершении курса:
Что входит в курс
Требования
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
udemy
Вы ищете передовой способ извлечения и преобразования данных? Хотите узнать больше о dbt™ и о том, как его использовать? В этом курсе вы узнаете все о dbt™, от настройки облака dbt™, подключения его к Snowflake или к выбранному вами хранилищу, до разработки моделей, создания исходников, проведения тестирования, работы с документацией и многому другому. Этот курс предназначен для начинающих, мы рассмотрим реалистичный проек
Are you planning to add the rest of the videos for this course? I think DBT for Data Engineers is the last part of Fundamental Tools
Video Time Available: 25.25h
4.1Streaming with Kafka, Spark & MongoDB
4.2Data Engineering on AWS
4.3Data Engineering on Azure
4.4Data Engineering on GCP
4.5Modern Data Warehouses & Data Lakes
4.6Machine Learning & Containerization on AWS
4.7Storing & Visualizing Time Series Data
4.8Contact tracing with Elasticsearch
4.9Data Engineering on Hadoop
4.10Dockerized ETL With AWS, TDengine & Grafana
4.11Azure Data Pipelines with Terraform (NEW: Part 2 now available!)
4.12GenAI Platform with RAG (coming soon)
Thanks