Главная страницаКатегория scalaСоздавайте стриминговые приложения с Apache Kafka и Scala

Создавайте стриминговые приложения с Apache Kafka и Scala

Name: Создавайте стриминговые приложения с Apache Kafka и Scala
Price: 12.5 USD
Rating: 4.1 (6 reviews)

Build streaming applications using Apache Kafka and Scala

udemy

★4.1 (всего оценок - 6)

Продолжительность

15 ч 5 мин

Категория

Scala

Количество уроков

94 Видео

Дата добавления

11 апр. 2021 г., 14:35

Язык

Английский

Дата выхода

12 дек. 2018 г., 02:00

Дата обновления

29 апр. 2026 г., 09:51

Освойте навыки разработки стриминговых приложений с использованием Apache Kafka и языка Scala. Этот курс поможет вам уверенно работать с системой распределённой передачи данных, создавать производительные конвейеры обработки событий и интегрировать Kafka с современными инструментами.

Что вы узнаете в процессе обучения

Курс охватывает весь путь — от установки необходимого окружения до создания полноценных стриминговых приложений. Вы поэтапно изучите ключевые технологии и получите практический опыт.

Настройка окружения и работа с инструментами

Конфигурирование IntelliJ IDEA для разработки Scala‑приложений.
Установка и локальный запуск Apache Kafka и Zookeeper.
Проверка работоспособности кластеров и базовых операций.

Работа с Kafka в многоброкерной архитектуре

Пошаговая настройка окружения с несколькими брокерами.
Понимание распределения данных и отказоустойчивости.

Изучение ключевых концепций Kafka

Топики, партиции, оффсеты и репликация.
Производители, потребители и группы потребителей.
Особенности логирования и хранения данных.

Практическое применение Scala с Kafka

Вы научитесь интегрировать Kafka с приложениями на Scala, используя наиболее востребованные API и инструменты.

Создание сообщений через Kafka Producer API

Подключение Producer API к Scala‑проекту.
Отправка сообщений в топики из веб‑приложения.
Настройка параметров производительности и доставки.

Получение данных через Kafka Consumer API

Конфигурирование Consumer API под задачи обработки данных.
Чтение сообщений из топиков в режиме реального времени.
Работа с группами потребителей и масштабирование.

Интеграция с внешними инструментами

Вы разберёте, как подключать Kafka к различным системам и сервисам для полноценной обработки данных.

Использование Kafka Connect и Flume

Получение данных из логов веб‑серверов.
Автоматизация потоковой передачи данных в Kafka.

Работа со Spark Streaming

Чтение сообщений из Kafka для их дальнейшей обработки.
Создание конвейеров анализа данных в реальном времени.

Почему этот курс полезен

Освоив Apache Kafka и Scala, вы сможете проектировать высоконагруженные системы, создавать потоковые микросервисы и работать с данными в режиме реального времени — навыки, которые востребованы в современных компаниях, ориентированных на Big Data и распределённые архитектуры.

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:07:43
Introduction
Урок 2. 00:05:22
Setup Java and JDK
Урок 3. 00:04:16
Setup IntelliJ with Scala Plugin
Урок 4. 00:06:53
Develop Hello World Program using IntelliJ with Scala Plugin
Урок 5. 00:05:46
Setup SBT to build jar files for Scala applications
Урок 6. 00:07:32
Setup Ubuntu using Windows Subsystem for Linux
Урок 7. 00:01:21
Setup Development Environment for Scala - Conclusion
Урок 8. 00:07:46
Setup Data Sets
Урок 9. 00:14:39
Setup Kafka locally on Windows or Mac or Linux
Урок 10. 00:10:27
Validate Kafka setup by creating test topic
Урок 11. 00:09:19
Validate Kafka setup using simulated web server logs (gen_logs)
Урок 12. 00:19:21
Apache Kafka - Multinode cluster - Overview
Урок 13. 00:10:04
Apache Kafka - Multinode cluster - Review Properties
Урок 14. 00:14:37
Apache Kafka - Concepts
Урок 15. 00:10:15
Scenarios - Single Partition Topic - One Consumer
Урок 16. 00:06:12
Scenarios - Single Partition Topic - Multiple Consumers
Урок 17. 00:07:13
Scenarios - Multi Partition Topic - Single Consumer
Урок 18. 00:08:31
Scenarios - Multi Partition Topic - Multiple Consumers
Урок 19. 00:08:57
Messages and Message Format
Урок 20. 00:04:41
Introduction
Урок 21. 00:12:41
Pre-requisites for multi cluster setup
Урок 22. 00:10:04
Setup Kafka and Zookeeper binaries
Урок 23. 00:08:55
Configure Zookeeper
Урок 24. 00:11:11
Zookeeper Commands
Урок 25. 00:07:37
Configure Kafka Brokers
Урок 26. 00:14:45
Validate Kafka
Урок 27. 00:01:03
Introduction
Урок 28. 00:02:37
Revision of Kafka Topic
Урок 29. 00:04:35
Create Project - KafkaWorkshop
Урок 30. 00:05:47
Add Dependencies for Kafka APIs
Урок 31. 00:10:52
Externalize Properties using typesafe config
Урок 32. 00:22:57
Producer APIs using REPL
Урок 33. 00:13:46
Producer APIs using Program
Урок 34. 00:13:39
Consumer APIs using REPL
Урок 35. 00:10:30
Consumer APIs using Program
Урок 36. 00:09:35
Introduction
Урок 37. 00:10:22
Characteristics of Kafka Topic
Урок 38. 00:10:05
Producer APIs - ProducerRecord Functions
Урок 39. 00:13:43
Producer APIs - Produce Log Messages into Partitioned Topic - with out key
Урок 40. 00:16:41
Producer APIs - Produce Log Messages into Partitioned Topic - using Key
Урок 41. 00:14:26
Setup maxmind geoip database and API dependencies
Урок 42. 00:13:28
Producer APIs - Produce Log Messages into Partitioned Topic - using Partition
Урок 43. 00:12:44
Producer APIs - More important properties from ProducerConfig
Урок 44. 00:13:24
Producer APIs - Build as Application
Урок 45. 00:17:26
Consumer APIs - Review of ConsumerConfig, KafkaConsumer and ConsumerRecord
Урок 46. 00:19:57
Consumer APIs - Subscribing to a Topic
Урок 47. 00:03:51
Introduction
Урок 48. 00:15:36
Flume Overview
Урок 49. 00:09:54
Setup gen_logs
Урок 50. 00:18:10
Develop first Flume Agent
Урок 51. 00:20:45
Understand Source, Sink and Channel
Урок 52. 00:17:39
Simple Multi Agent Flow
Урок 53. 00:03:43
Consolidation
Урок 54. 00:07:25
Multiplexing and Replicating
Урок 55. 00:14:25
Getting Log Data into HDFS - Define Source
Урок 56. 00:18:05
Getting Log Data into HDFS - Define Sink
Урок 57. 00:07:02
Getting Log Data into HDFS - Understand Escape Sequences
Урок 58. 00:13:16
Getting Logs into Kafka - Define Kafka Sink
Урок 59. 00:13:27
Getting Logs into Kafka - Using File Channel
Урок 60. 00:07:39
Limitations and Conclusion
Урок 61. 00:05:41
Overview Of Spark Streaming (Legacy)
Урок 62. 00:01:33
Overview of DStreams and APIs
Урок 63. 00:01:26
Typical Development Life Cycle for Spark Streaming Applications
Урок 64. 00:16:54
Develop Streaming Department Count using socketTextStream
Урок 65. 00:12:19
Develop Streaming Department Count using Kafka
Урок 66. 00:04:17
Spark Streaming - Windowing Functions Overview
Урок 67. 00:01:49
Setup HBase Locally
Урок 68. 00:10:25
Basic NoSQL Concepts and HBase
Урок 69. 00:13:19
CRUD Operations in HBase using HBase Shell
Урок 70. 00:03:58
Setup sbt Project for Scala and HBase
Урок 71. 00:13:32
CRUD Operations using Scala REPL
Урок 72. 00:08:25
Develop and Run Scala Programs using HBase as Database
Урок 73. 00:10:55
Overview of Data Modeling in HBase
Урок 74. 00:12:12
Develop applications for thin schema
Урок 75. 00:04:20
Develop applications for thick schema
Урок 76. 00:13:36
Examples of HBase filters
Урок 77. 00:03:25
Develop applications using HBase filters
Урок 78. 00:01:13
Introduction
Урок 79. 00:07:04
Overview of Ingestion Technologies
Урок 80. 00:05:01
Overview of Real Time Processing
Урок 81. 00:04:31
Overview of Databases and Visualization
Урок 82. 00:04:16
Overview of Streaming Pipeline Frameworks
Урок 83. 00:09:59
Spark Structured Streaming - Introduction
Урок 84. 00:05:59
Setup Spark Locally
Урок 85. 00:03:28
Development Life Cycle and Setup Project - StreamingDemo
Урок 86. 00:04:25
Define Dependencies
Урок 87. 00:06:07
Externalize Properties
Урок 88. 00:02:33
Define Problem Statement and Understand Data
Урок 89. 00:08:20
Data Processing using Data Frame Operations - Quick Review
Урок 90. 00:15:29
Spark Structured Streaming - Getting Streaming Department Traffic using socket
Урок 91. 00:12:50
Build jar and Deploy - Get Streaming Department Traffic using socket
Урок 92. 00:07:42
Setup Project for Kafka and Spark Structured Streaming Integration
Урок 93. 00:14:44
Kafka and Spark Structured Streaming Integration - using REPL
Урок 94. 00:08:57
Kafka and Spark Structured Streaming Integration - using IDE

Автор - udemy

udemy

Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.

+198

Комментарии