Изучите все тонкости Spark и извлеките максимум из своего кода с помощью Scala.
Почему $ & * (# моя работа выполняется так медленно?
Позвольте мне описать это, а затем скажите мне, похоже ли это на вас: вы выполняете задание из 4 строк на гигабайте данных с двумя невинными соединениями, и на выполнение этого требуется чертов час. Или другой вариант: у вас есть часовая работа, которая выполнялась плавно, пока задача 1149/1150 не зависла, и еще через два часа вы решаете ее убить, потому что не знаете, вы ли это, ошибка в Spark, или какой-то бог больших данных, который злится на вас!
Затем вы говорите: «Хм, может быть, мой кластер Spark слишком мал, позвольте мне поднять процессор и память». Тогда ... то же самое. Амазон, наверное, сейчас смеется. Так что это должен быть вопрос на миллион долларов.
Вы просматриваете единственный в сети курс по оптимизации Spark. С помощью техник, которые вы здесь изучаете, вы сэкономите время, деньги, энергию и избавитесь от головной боли.
Давай исправим это
Этим курсом мы подрезаем сорняки под корень. Мы глубоко погружаемся в Spark и понимаем, почему работа занимает так много времени, прежде чем мы коснемся какого-либо кода или, что еще хуже, тратим деньги на вычисления. А потом приносим пистолеты. Вы изучите 20+ техник и стратегий оптимизации. Каждый из них по отдельности может дать как минимум двукратное повышение производительности вашей работы, и я показываю это на камеру.
Что вас ждет:
rockthejvm.com
Выполняйте потоковую передачу больших данных в реальном времени с помощью Spark и интегрируйте любой источник данных, от Kafka до Twitter.
udemy
Курс по внедрению Big Data Apache Spark на Databricks с использованием облачной службы Microsoft - Azure. В этом курсе вы изучите основы создания заданий Spark, загрузки данных и работы с данными. Вы также узнаете, как запускать алгоритмы машинного обучения и работать с потоковыми данными.
rockthejvm.com
Изучайте Big Data с помощью Apache Spark и Scala, используя Spark DataFrames, наборы данных, RDD и Spark SQL. В этом курсе мы научимся писать приложения для больших данных с помощью Apache Spark. Вы сами напишите более 2000 строк кода Spark, и вы станете рок-звездой.
rockthejvm.com
Говорят, Spark шустрый. Как мне извлечь из этого максимальную пользу? Освойте внутреннее устройство Spark, чтобы ваша работа превращалась в луч лазера, а кластер выдерживал максимальный вес.
rockthejvm.com
Поднимитесь на более высокий уровень мысли, пишите обоснованный код. Все, что вам нужно знать, чтобы писать Scala с Cats.
