rockthejvm.com
Быстрое и практическое обучение работе с Scala, Akka и Apache Spark. Больше никакого бездумного просмотра, непонятных сообщений в блогах и размытых видео. Сэкономьте время и нервы и следуйте плавной кривой обучения, где царит код.
Продолжительность
8 ч 59 мин
Категория
Scala
Количество уроков
27 Видео
Дата добавления
11 сент. 2020 г., 22:25
Язык
Английский
Изучите все тонкости Spark и извлеките максимум из своего кода с помощью Scala.
Почему $ & * (# моя работа выполняется так медленно?
Позвольте мне описать это, а затем скажите мне, похоже ли это на вас: вы выполняете задание из 4 строк на гигабайте данных с двумя невинными соединениями, и на выполнение этого требуется чертов час. Или другой вариант: у вас есть часовая работа, которая выполнялась плавно, пока задача 1149/1150 не зависла, и еще через два часа вы решаете ее убить, потому что не знаете, вы ли это, ошибка в Spark, или какой-то бог больших данных, который злится на вас!
Затем вы говорите: «Хм, может быть, мой кластер Spark слишком мал, позвольте мне поднять процессор и память». Тогда ... то же самое. Амазон, наверное, сейчас смеется. Так что это должен быть вопрос на миллион долларов.
Вы просматриваете единственный в сети курс по оптимизации Spark. С помощью техник, которые вы здесь изучаете, вы сэкономите время, деньги, энергию и избавитесь от головной боли.
Давай исправим это
Этим курсом мы подрезаем сорняки под корень. Мы глубоко погружаемся в Spark и понимаем, почему работа занимает так много времени, прежде чем мы коснемся какого-либо кода или, что еще хуже, тратим деньги на вычисления. А потом приносим пистолеты. Вы изучите 20+ техник и стратегий оптимизации. Каждый из них по отдельности может дать как минимум двукратное повышение производительности вашей работы, и я показываю это на камеру.
Что вас ждет:
- Вы поймете внутреннее устройство Spark, чтобы объяснить, пишете ли вы хороший код или нет.
- Вы сможете заранее предсказать, займет ли работа много времени
- Вы будете читать планы запросов и DAG во время выполнения заданий, чтобы понять, делаете ли вы что-то не так.
- Вы оптимизируете преобразования DataFrame далеко за пределами стандартного автооптимизатора Spark.
- Вы будете выполнять быструю пользовательскую обработку данных с помощью эффективных RDD, в отличие от SQL.
- Вы диагностируете зависания, этапы и задачи
- Вы обнаружите и исправите перекосы данных
- Кроме того, вы исправите несколько сбоев памяти по пути
Посмотреть больше
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
-
Урок 1. 00:16:10Welcome
-
Урок 2. 00:24:48Scala Recap
-
Урок 3. 00:27:11Spark Recap
-
Урок 4. 00:16:01Core
-
Урок 5. 00:25:02Spark Job Anatomy
-
Урок 6. 00:27:26Reading Query Plans
-
Урок 7. 00:21:36Reading DAGs
-
Урок 8. 00:23:59The Different Spark APIs
-
Урок 9. 00:27:07Deploying and Configuring Spark Apps
-
Урок 10. 00:09:02General Join Mechanics
-
Урок 11. 00:19:23Joins Recap (optional)
-
Урок 12. 00:19:35Broadcast Joins
-
Урок 13. 00:22:28Column Pruning
-
Урок 14. 00:23:25Pre-Partitioning
-
Урок 15. 00:23:54Bucketing
-
Урок 16. 00:24:13Skewed Joins
-
Урок 17. 00:24:39Optimizing RDD Joins
-
Урок 18. 00:20:31Cogrouping
-
Урок 19. 00:14:47Broadcast Joins
-
Урок 20. 00:31:27Skewed Joins
-
Урок 21. 00:05:07RDD Transformations
-
Урок 22. 00:23:11By Key Functions
-
Урок 23. 00:24:58Reusing JVM Objects, Part 1
-
Урок 24. 00:12:12Reusing JVM Objects, Part 2
-
Урок 25. 00:21:20Iterator-to-iterator Transformations
-
Урок 26. 00:09:41Iterator-to-iterator Transformations - Exercises
-
Урок 27. 00:00:42You ROCK!
Автор - rockthejvm.com
Категории
Комментарии
Команда внимательно читает ваши комментарии и оперативно на них реагирует. Вы можете спокойно оставлять запросы на обновления или задавать любые вопросы о курсе здесь.
Другие материалы в этой категории
rockthejvm.com
11 сент. 2020 г., 22:09
Spark Streaming с Scala
Spark Streaming with Scala
Выполняйте потоковую передачу больших данных в реальном времени с помощью Spark и интегрируйте любой источник данных, от Kafka до Twitter.
udemy
13 авг. 2020 г., 16:54
Apache Spark с Databricks
Apache Spark with Databricks
Курс по внедрению Big Data Apache Spark на Databricks с использованием облачной службы Microsoft - Azure. В этом курсе вы изучите основы создания заданий Spark, загрузки данных и работы с данными. Вы также узнаете, как запускать алгоритмы машинного обучения и работать с потоковыми данными.
rockthejvm.com
28 нояб. 2019 г., 22:51
JVM! Основы Spark 3.0 и Big Data с помощью Scala
Spark 3.0 & Big Data Essentials with Scala | Rock the JVM
Изучайте Big Data с помощью Apache Spark и Scala, используя Spark DataFrames, наборы данных, RDD и Spark SQL. В этом курсе мы научимся писать приложения для больших данных с помощью Apache Spark. Вы сами напишите более 2000 строк кода Spark, и вы станете рок-звездой.
rockthejvm.com
11 сент. 2020 г., 23:00
Оптимизация Spark с помощью Scala | 2
Spark Optimization 2 with Scala
Говорят, Spark шустрый. Как мне извлечь из этого максимальную пользу? Освойте внутреннее устройство Spark, чтобы ваша работа превращалась в луч лазера, а кластер выдерживал максимальный вес.
rockthejvm.com
19 сент. 2020 г., 00:10
Cats
Поднимитесь на более высокий уровень мысли, пишите обоснованный код. Все, что вам нужно знать, чтобы писать Scala с Cats.