Выполняйте потоковую передачу больших данных в реальном времени с помощью Spark и интегрируйте любой источник данных, от Kafka до Twitter.
Ничего статичного, все в движении.
Вы, наверное, уже знаете: Spark - самый популярный вычислительный движок для больших данных, самый обслуживаемый и с проверенным послужным списком производительности. Это в 100 раз быстрее, чем старая парадигма MapReduce, и ее можно легко расширить с помощью возможностей машинного обучения, потоковой передачи и многого другого.
В этом курсе мы сделаем естественный шаг вперед: будем обрабатывать большие данные по мере их поступления.
Что вас ждет:
И некоторые дополнительные льготы:
Этот курс предназначен для программистов Scala и Spark, которым требуется обработка потоковых данных, а не разовая или пакетная обработка. Если вы никогда не изучали Scala или Spark, этот курс не для вас.
Проект 1: Twitter
В этом проекте мы будем интегрировать живые данные из Twitter. Мы создадим настраиваемый источник данных, который будем использовать со Spark, и проведем различные анализы: длину твитов, наиболее часто используемые хэштеги в режиме реального времени. Вы сможете использовать этот проект как образец для любого источника данных, который вы, возможно, захотите интегрировать. В самом конце мы воспользуемся библиотекой НЛП из Стэнфорда, чтобы провести анализ настроений в твитах и выяснить общее состояние социальных сетей.
Ты выучишь:
Проект 2: Научный проект
В этом проекте мы напишем полнофункциональное веб-приложение, которое будет поддерживать нескольких пользователей, являющихся объектами научного тестирования. Мы исследуем влияние алкоголя / веществ / insert_your_addictive_drug_like_Scala на рефлексы и время реакции. Мы отправим данные через веб-интерфейс, подключенный к конечной точке REST, затем данные будут проходить через брокера Kafka и, наконец, на серверную часть потоковой передачи Spark, которая будет обрабатывать данные. Вы можете использовать это приложение как образец для любого полнофункционального приложения, которое объединяет и обрабатывает данные с помощью Spark Streaming в реальном времени от любого числа одновременно работающих пользователей.
Ты выучишь:
Thank you.