После построения пайплайнов данных, обработка данных - одна из важнейших задач в Data Engineering. Как инженер по данным, вы постоянно сталкиваетесь с необходимостью обработки, и критично уметь настраивать мощную и распределённую систему обработки. Один из самых полезных и широко используемых инструментов для этого - Apache Spark.
В этом курсе вы изучите архитектуру Spark и базовые принципы его работы. Вы попрактикуетесь с преобразованиями и действиями в Spark, будете работать в Jupyter Notebooks в среде Docker. Также вы познакомитесь с DataFrame, SparkSQL и RDD, чтобы понять, как использовать их для обработки структурированных и неструктурированных данных. По завершении курса вы будете готовы писать собственные Spark-джобы и строить пайплайны на его основе.
Основы Spark
Поймёте, зачем использовать Spark, в чём разница между вертикальным и горизонтальным масштабированием. Узнаете, с какими типами данных может работать Spark и где его можно запускать.
Разберётесь в архитектуре: executor, driver, context, cluster manager, и в типах кластеров. Также изучите различия между client- и cluster-режимами развертывания.
Данные и среда разработки
Познакомитесь с инструментами, которые мы будем использовать в курсе. Узнаете, какой датасет выбран, и как настроить рабочую среду: установить Docker и Jupyter Notebook.
Основы кодинга на Spark
Перед практикой вы разберётесь с ключевыми понятиями: что такое RDD и DataFrame, в чём их особенности при работе с разными типами данных.
Поймёте разницу между transformations и actions, как они взаимодействуют с данными и друг с другом, и изучите наиболее часто используемые типы операций.
Практика в Jupyter Notebook
В GitHub-репозитории вы найдёте весь код, который используется в курсе, и сможете сразу начать работу.
Вы поработаете с пятью нотбуками, где научитесь:
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Florian Roscheck
Apache Spark является ключевым навыком в области данных - вот как вы можете доказать, что владеете им!Изучите Apache Spark с нуля и продемонстрируйте свои знания с помощью сертификации Databricks Associate Developer для Apache Spark. Этот курс превратит вас в профессионала PySpark и подготовит к успешной сдаче популярной сертификации Databricks Spark.Присоединяйтесь ко мне для понятного и увлекательного изучения Spark и поднимите свою карьеру в о
udemy
Курс по внедрению Big Data Apache Spark на Databricks с использованием облачной службы Microsoft - Azure. В этом курсе вы изучите основы создания заданий Spark, загрузки данных и работы с данными. Вы также узнаете, как запускать алгоритмы машинного обучения и работать с потоковыми данными.
udemy
Узнайте, как использовать Spark с Python, включая Spark Streaming, машинное обучение, Spark 2.0 DataFrames и многое другое! Узнайте новейшие технологии больших данных - Spark! И научитесь использовать его с одним из самых популярных языков программирования, Python!
Andreas Kretz
Databricks - одна из самых популярных платформ для обработки данных с использованием Apache Spark и создания современных хранилищ данных (Lakehouse). В этом курсе вы изучите всё, что нужно для уверенного старта работы с Databricks: от основ платформы до создания собственных пайплайнов и подключения BI-инструментов.Вы узнаете, как работает Databricks, зачем его использовать, создадите свои ноутбуки, настроите кластер вычислений и познакомитесь с D
David Reger
Современным дата-платформам нужна гибкость озёр данных и надёжность хранилищ. Apache Iceberg сочетает оба подхода. В этом курсе вы разберётесь, как работает этот мощный формат открытых таблиц, изучите его архитектуру и научитесь использовать ключевые возможности: эволюцию схем, «путешествия во времени» и высокопроизводительную аналитику в Lakehouse-системах.Курс построен на практических примерах из реальной инженерии данных. Вы развернёте локальн
