Курс по Apache Kafka и событийно-ориентированной архитектуре поможет вам освоить Event-Driven Architecture, Kafka, проектирование распределённых систем, обработку событий и подготовку к System Design Interview на практических инженерных задачах, с которыми сталкиваются backend-разработчики, архитекторы и platform-инженеры.
О курсе Apache Kafka и Event-Driven Architecture
Этот курс посвящён Apache Kafka и событийно-ориентированной архитектуре с акцентом на практические решения, которые инженеры принимают при проектировании масштабируемых распределённых систем.
Вы будете изучать не только возможности Kafka, но и логику архитектурного выбора: когда использовать события вместо синхронных запросов, как проектировать топики и партиции, какие гарантии доставки нужны системе, как учитывать отказоустойчивость, стоимость инфраструктуры и требования к согласованности данных.
Каждый урок построен вокруг конкретной инженерной задачи: выбор ключей сообщений, расчёт количества партиций, настройка подтверждений доставки, обработка дубликатов, проектирование retry-механизмов, использование DLQ, Transactional Outbox, Saga и других паттернов для событийных систем.
Все решения рассматриваются на практических примерах с расчётами, сравнением альтернатив и объяснением компромиссов. Примеры кода протестированы на настоящем брокере Apache Kafka 4.4, а результаты выполнения показаны в учебных материалах.
Чему вы научитесь на курсе
Основы событийно-ориентированной архитектуры
- Понимать принципы Event-Driven Architecture и определять, когда её применение действительно оправданно.
- Выбирать между синхронными API-запросами и асинхронным обменом событиями.
- Разбираться в различиях между очередями сообщений и распределёнными журналами событий.
- Проектировать события с понятными названиями, идентификаторами, ключами и структурой данных.
- Оценивать влияние асинхронного взаимодействия на задержки, надёжность, наблюдаемость и сложность системы.
Архитектура и масштабирование Apache Kafka
- Работать с ключевыми сущностями Kafka: топиками, партициями, брокерами, producers, consumers и consumer groups.
- Рассчитывать необходимое количество партиций на основе интенсивности записи, чтения и требований к параллелизму.
- Выбирать ключи партиционирования для сохранения порядка сообщений внутри бизнес-сущностей.
- Предотвращать появление перегруженных партиций и проблем с неравномерным распределением нагрузки.
- Масштабировать обработку событий с помощью Consumer Groups и Share Groups.
- Понимать причины ребалансировок и снижать их влияние при медленной или нестабильной обработке сообщений.
Надёжность, репликация и хранение данных
- Настраивать репликацию,
acks и min.insync.replicas с учётом допустимого риска потери данных. - Анализировать поведение Kafka при отказах брокеров и сетевых проблемах.
- Настраивать политики хранения событий: retention, удаление старых данных и log compaction.
- Рассчитывать объём дискового пространства для Kafka-кластера.
- Организовывать replay событий без нежелательных побочных эффектов для внешних систем.
Обработка сообщений и гарантии доставки
- Понимать различия между At-Most-Once, At-Least-Once и Exactly-Once delivery.
- Определять причины появления дублирующихся сообщений в Kafka.
- Проектировать идемпотентных потребителей, устойчивых к повторной обработке событий.
- Разбираться в возможностях и ограничениях транзакций Kafka.
- Проектировать retry topics для повторной обработки временно неуспешных сообщений.
- Использовать Dead Letter Queue, чтобы проблемные сообщения не блокировали обработку остальных событий.
Согласованность данных и распределённые транзакции
- Применять паттерн Transactional Outbox для согласования изменений в базе данных и публикации событий.
- Использовать Saga Pattern для управления распределёнными бизнес-процессами.
- Выбирать ключи Kafka для последовательной обработки связанных событий.
- Обеспечивать согласованность данных между независимыми микросервисами.
- Безопасно изменять схемы событий и сохранять совместимость с существующими потребителями.
Мониторинг и диагностика Kafka
- Измерять Consumer Lag в количестве сообщений и во времени.
- Определять причины накопления необработанных событий.
- Анализировать результаты работы инструментов Kafka и находить узкие места.
- Выявлять проблемы производительности producers, consumers, брокеров и внешних зависимостей.
- Подбирать решения для повышения стабильности, предсказуемости и отказоустойчивости системы.
Сравнение Kafka с альтернативными технологиями
Вы научитесь обоснованно выбирать платформу обмена сообщениями в зависимости от требований проекта, нагрузки, стоимости эксплуатации и сложности поддержки.
- Apache Kafka — распределённый журнал событий для потоковой обработки, интеграции сервисов и построения event-driven систем.
- RabbitMQ — брокер сообщений с гибкими механизмами маршрутизации и классическими очередями.
- Amazon SQS — управляемый сервис очередей сообщений в AWS для простых и надёжных асинхронных сценариев.
- Apache Pulsar — распределённая платформа обмена сообщениями и потоковой обработки с отдельным слоем хранения.
После сравнения вы сможете понять, когда Kafka действительно необходима, а когда более простое решение будет дешевле, быстрее во внедрении и удобнее в сопровождении.
Практические проекты в курсе
В заключительной части курса вы примените полученные знания при проектировании трёх полноценных систем, близких к задачам из реальной backend-разработки и архитектурных собеседований.
Система обработки заказов
Вы спроектируете событийный процесс обработки заказов с учётом последовательности операций, согласованности данных, повторной доставки сообщений, отказов сервисов и необходимости безопасного восстановления после сбоев.
Система уведомлений
Вы разработаете масштабируемую архитектуру доставки уведомлений с асинхронной обработкой, retry-механизмами, Dead Letter Queue и разделением потоков для разных типов сообщений.
Лента активности
Вы спроектируете систему обработки пользовательских событий с учётом высокой нагрузки, партиционирования, масштабирования потребителей, задержек и требований к производительности.
Подготовка к System Design Interview
Курс помогает подготовиться к архитектурным собеседованиям, где необходимо уверенно объяснять решения по Kafka, микросервисам, очередям сообщений и событийно-ориентированной архитектуре.
Большинство уроков включает рекомендации по тому, как аргументировать технические решения на System Design Interview: почему выбрана именно такая архитектура, какие компромиссы она содержит, какие альтернативы существуют и как система поведёт себя при росте нагрузки или отказах.
Каждая глава содержит практические вопросы и итоговую проверку знаний, чтобы закрепить материал и научиться формулировать ответы в формате собеседования.
Для кого подойдёт курс
- Backend-разработчикам, которые хотят освоить Apache Kafka, асинхронное взаимодействие сервисов и event-driven подход.
- Software Engineers, проектирующим масштабируемые распределённые системы и микросервисную архитектуру.
- Software Architects, принимающим решения об интеграции сервисов, потоковой обработке и обмене событиями.
- DevOps- и Platform-инженерам, работающим с инфраструктурой Kafka, отказоустойчивостью, мониторингом и эксплуатацией кластеров.
- Разработчикам, готовящимся к System Design Interview, которым важно уверенно разбираться в Kafka, очередях сообщений и событийных системах.
Результат обучения
После прохождения курса вы сможете самостоятельно проектировать событийно-ориентированные системы на базе Apache Kafka, рассчитывать параметры инфраструктуры, выбирать ключи и партиции, обеспечивать надёжную обработку сообщений и применять архитектурные паттерны для согласованности данных.
Главная цель курса — научить вас не просто пользоваться Kafka, а принимать обоснованные инженерные решения: понимать, почему конкретная архитектура подходит для вашей системы, сколько она будет стоить, какие риски содержит и как поведёт себя при росте нагрузки или возникновении отказов.