Data Engineering on Databricks
Инженерия данных с использованием Databricks – практический курс, который поможет вам уверенно работать с одной из ведущих платформ для обработки данных и построения Lakehouse‑архитектуры. Вы освоите ключевые инструменты Databricks, научитесь создавать ETL‑процессы, автоматизировать пайплайны и подключать аналитические сервисы для визуализации данных.
Курс сочетает детальные объяснения, разбор реальных сценариев использования Databricks и практику, приближенную к задачам инженеров данных. Вы шаг за шагом пройдёте путь от настройки окружения до интеграции с BI‑инструментами.
Вы начнёте с развёртывания Databricks на AWS и создания инфраструктуры для хранения данных.
На практических шагах вы освоите работу с данными в Databricks и Spark.
На финальном этапе вы научитесь подключать внешние аналитические инструменты к Databricks.
Чтобы максимально эффективно пройти курс, рекомендуется заранее изучить основы Spark. Отличным вариантом станет предварительное прохождение курса «Основы Apache Spark».
Завершив обучение, вы сможете уверенно использовать Databricks в инженерии данных, выстраивать надёжные ETL‑процессы, автоматизировать работу с данными и подключать профессиональные BI‑инструменты. Эти навыки востребованы в компаниях, работающих с большими данными, аналитикой и облачными технологиями.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Link to the dataset: https://www.kaggle.com/datasets/carrie1/ecommerce-data
Link to the GitHub repo: https://github.com/team-data-science/databricks
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
