Databricks - одна из самых популярных платформ для обработки данных с использованием Apache Spark и создания современных хранилищ данных (Lakehouse). В этом курсе вы изучите всё, что нужно для уверенного старта работы с Databricks: от основ платформы до создания собственных пайплайнов и подключения BI-инструментов.
Вы узнаете, как работает Databricks, зачем его использовать, создадите свои ноутбуки, настроите кластер вычислений и познакомитесь с Databricks SQL Warehouse.
1. Установка и подготовка данных
Прежде чем приступить к практике, вы настроите Databricks на AWS, создадите S3-бакет для хранения данных и рабочее пространство. Также вы разберёте шаблон AWS CloudFormation, который использует Databricks, чтобы понимать, как инфраструктура разворачивается автоматически.
Проведёте обзор созданного кластера и ознакомитесь с датасетом, на основе которого будете строить свой ETL-процесс.
2. Практика: обработка данных
Вы изучите два способа загрузки данных в Databricks: напрямую или через S3 с последующей интеграцией. Также научитесь создавать репозитории кода. Это можно сделать двумя способами: подключить GitHub-репозиторий или создать репозиторий вручную прямо в Databricks.
Во время проекта вы выполните две ключевые задачи:
Вы также узнаете, как хранятся данные внутри Databricks.
3. Хранилище данных и внешние интеграции
В завершение вы подключите Power BI к Databricks и попробуете оба способа интеграции: через вычислительный кластер и через SQL Warehouse. Таким образом, вы научитесь интегрировать Databricks с внешними аналитическими инструментами.
Рекомендации перед началом
Перед тем как начать этот курс, рекомендуется пройти курс "Основы Apache Spark". С этими базовыми знаниями вы сможете эффективно работать в Databricks.
Требования:
Link to the dataset: https://www.kaggle.com/datasets/carrie1/ecommerce-data
Link to the GitHub repo: https://github.com/team-data-science/databricks
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
udemy
Курс по внедрению Big Data Apache Spark на Databricks с использованием облачной службы Microsoft - Azure. В этом курсе вы изучите основы создания заданий Spark, загрузки данных и работы с данными. Вы также узнаете, как запускать алгоритмы машинного обучения и работать с потоковыми данными.
Andreas Kretz
После построения пайплайнов данных, обработка данных - одна из важнейших задач в Data Engineering. Как инженер по данным, вы постоянно сталкиваетесь с необходимостью обработки, и критично уметь настраивать мощную и распределённую систему обработки. Один из самых полезных и широко используемых инструментов для этого - Apache Spark.
Andreas Kretz
Этот курс - идеальный старт для тех, кто хочет освоить облачные технологии и начать работать с Amazon Web Services (AWS), одной из самых популярных платформ для обработки данных. Курс особенно полезен для начинающих инженеров данных и тех, кто ищет первую работу в этой сфере.В рамках курса вы создадите полноценный end-to-end проект на основе данных из интернет-магазина. Шаг за шагом вы научитесь моделировать данные, строить пайплайны и работать с
