Изучите все тонкости Spark и извлеките максимум из своего кода с помощью Scala.
Почему $ & * (# моя работа выполняется так медленно?
Позвольте мне описать это, а затем скажите мне, похоже ли это на вас: вы выполняете задание из 4 строк на гигабайте данных с двумя невинными соединениями, и на выполнение этого требуется чертов час. Или другой вариант: у вас есть часовая работа, которая выполнялась плавно, пока задача 1149/1150 не зависла, и еще через два часа вы решаете ее убить, потому что не знаете, вы ли это, ошибка в Spark, или какой-то бог больших данных, который злится на вас!
Затем вы говорите: «Хм, может быть, мой кластер Spark слишком мал, позвольте мне поднять процессор и память». Тогда ... то же самое. Амазон, наверное, сейчас смеется. Так что это должен быть вопрос на миллион долларов.
Вы просматриваете единственный в сети курс по оптимизации Spark. С помощью техник, которые вы здесь изучаете, вы сэкономите время, деньги, энергию и избавитесь от головной боли.
Давай исправим это
Этим курсом мы подрезаем сорняки под корень. Мы глубоко погружаемся в Spark и понимаем, почему работа занимает так много времени, прежде чем мы коснемся какого-либо кода или, что еще хуже, тратим деньги на вычисления. А потом приносим пистолеты. Вы изучите 20+ техник и стратегий оптимизации. Каждый из них по отдельности может дать как минимум двукратное повышение производительности вашей работы, и я показываю это на камеру.
Что вас ждет:
