udemy
Udemy - одна из самых больших площадок в мире по доставке обучающего контента от разных авторов всего мира. Присутсвуют курсы практически на любую тему.
Серия Apache Kafka - Практическое обучение Kafka Connect
Apache Kafka Series - Kafka Connect Hands-on Learning
★5 (всего оценок - 6)
Продолжительность
4 ч 24 мин
Категория
Другое (Backend)Количество уроков
50 Видео
Дата добавления
5 апр. 2021 г., 22:02
Язык
Английский
Дата выхода
11 мар. 2021 г., 02:00
Дата обновления
29 апр. 2026 г., 09:48
Практический курс по Kafka Connect поможет вам быстро и уверенно освоить работу с этой платформой, которая упрощает интеграцию Apache Kafka с внешними системами. Материал ориентирован на разработчиков и инженеров данных, желающих научиться разворачивать, настраивать и масштабировать коннекторы в реальных сценариях.
Что такое Kafka Connect и зачем он нужен
Kafka Connect — это компонент Apache Kafka, предназначенный для надежной и масштабируемой передачи данных между Kafka и внешними хранилищами, приложениями и сервисами. Он предоставляет стандартизированный подход к интеграции, снижая сложность разработки и сопровождения коннекторов.
Ключевые особенности Kafka Connect
- Масштабируемость: автоматическое распределение задач коннекторов между рабочими узлами.
- Отказоустойчивость: встроенная устойчивость к сбоям благодаря архитектуре Apache Kafka.
- Унифицированный API: единый интерфейс для создания источников данных и приемников.
- REST API: удобное управление коннекторами и их конфигурациями.
- Поддержка больших объемов данных: эффективная передача потоков и батчевых данных в реальном времени.
Как работает Kafka Connect
Kafka Connect состоит из двух ключевых элементов: workers (узлы выполнения) и коннекторов (модули интеграции). Рабочие процессы управляют распределением задач, а коннекторы определяют, как данные читаются или записываются.
Типы коннекторов
- Source-коннекторы: извлекают данные из внешних систем и публикуют их в Kafka.
- Sink-коннекторы: считывают данные из Kafka и передают их в конечные системы.
Примеры использования
- Стриминг данных из реляционных и NoSQL баз данных.
- Сбор логов и метрик с серверов приложений.
- Передача потоков данных для аналитики и обработки в реальном времени.
Что вы изучите в этом курсе
Курс ориентирован на практику и содержит упражнения, которые помогают на реальных примерах освоить работу с коннекторами.
Основные темы обучения
- Установка и запуск Kafka Connect в различных режимах.
- Настройка и развертывание source- и sink-коннекторов.
- Работа с REST API для управления коннекторами.
- Мониторинг производительности и управление отказами.
- Лучшие практики проектирования пайплайнов данных.
Преимущества прохождения курса
- Практический фокус: минимум теории, максимум упражнений.
- Актуальные знания, соответствующие промышленным стандартам.
- Подготовка к реальным задачам Data Engineering и DevOps.
- Уверенное применение Kafka Connect в продакшене.
Для кого предназначен курс
Курс будет полезен:
- Инженерам данных и разработчикам.
- DevOps и SRE специалистам.
- Архитекторам потоковых систем.
- Тем, кто уже использует Apache Kafka и хочет расширить компетенции.
Освойте Kafka Connect на практике и создавайте надежные, гибкие и масштабируемые конвейеры данных для своих проектов.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
- Урок 1. 00:01:10Important Pre-Requisites
- Урок 2. 00:01:21Course Objectives
- Урок 3. 00:01:56Course Structure
- Урок 4. 00:02:21About Your Instructor
- Урок 5. 00:04:51What is Kafka Connect?
- Урок 6. 00:03:21Kafka Connect Architecture Design
- Урок 7. 00:03:04Connectors, Configuration, Tasks, Workers
- Урок 8. 00:02:12Standalone vs Distributed Mode
- Урок 9. 00:02:59Distributed Architecture in Details
- Урок 10. 00:03:55Docker on Mac (recent versions)
- Урок 11. 00:05:18Docker Toolbox on Mac (older versions)
- Урок 12. 00:04:57Docker on Linux (Ubuntu as an example)
- Урок 13. 00:03:43Docker on Windows 10 64bit
- Урок 14. 00:05:38Docker Toolbox on Windows (older versions)
- Урок 15. 00:03:41Starting Kafka Connect Cluster using Docker Compose
- Урок 16. 00:02:50It's not working! What to do?
- Урок 17. 00:04:06Where to view logs?
- Урок 18. 00:02:40Asking a question in the Q&A
- Урок 19. 00:01:15Kafka Connect Source Architecture Design
- Урок 20. 00:09:06FileStream Source Connector - Standalone Mode - Part 1
- Урок 21. 00:07:57FileStream Source Connector - Standalone Mode - Part 2
- Урок 22. 00:11:30FileStream Source Connector - Distributed Mode
- Урок 23. 00:05:05List of Available Connectors
- Урок 24. 00:07:38Twitter Source Connector - Distributed Mode - Part 1
- Урок 25. 00:06:13Twitter Source Connector - Distributed Mode - Part 2
- Урок 26. 00:01:37Section Summary
- Урок 27. 00:01:44Kafka Connect Sink Architecture Design
- Урок 28. 00:08:59ElasticSearch Sink Connector - Distributed Mode - Part 1
- Урок 29. 00:07:32ElasticSearch Sink Connector - Distributed Mode - Part 2
- Урок 30. 00:11:09Kafka Connect REST API
- Урок 31. 00:13:07JDBC Sink Connector - Distributed Mode
- Урок 32. 00:01:35Goal of the section: GitHubSourceConnector
- Урок 33. 00:03:10Finding the code and installing required software
- Урок 34. 00:03:56Description of the GitHub Issues API
- Урок 35. 00:05:44Using the Maven Archetype to get started
- Урок 36. 00:12:32Config Definitions
- Урок 37. 00:06:58Connector Class
- Урок 38. 00:07:33Writing a schema
- Урок 39. 00:06:11Data Model for our Objects
- Урок 40. 00:07:04Writing our GitHub API HTTP Client
- Урок 41. 00:04:23Source Partition & Source Offsets
- Урок 42. 00:13:41Source Task
- Урок 43. 00:05:00Building and running a Connector in Standalone Mode
- Урок 44. 00:06:31Deploying our Connector on the Landoop cluster
- Урок 45. 00:01:58More Resources for Developers
- Урок 46. 00:14:21Setting up Kafka Connect in Production (1/2)
- Урок 47. 00:06:16Setting up Kafka Connect in Production (2/2)
- Урок 48. 00:01:47What's next?
- Урок 49. 00:01:19Congratulations and Thank you!
- Урок 50. 00:01:33THANK YOU!
Автор - udemy
Комментарии