CourseHunter
  • Источники
  • Курсы
    • Популярные
    • Бесплатные (2999+ Курсов)
  • Книги
    • Бесплатные
    • Популярные
  • Тарифы
Войти
Главная страницаКатегория другое (backend)Осваиваем Apache Kafka и событийно-ориентированную архитектуру

Осваиваем Apache Kafka и событийно-ориентированную архитектуру

Grokking Kafka and Event-Driven Architecture

DesignGurus.io logo
DesignGurus.io
Осваиваем Apache Kafka и событийно-ориентированную архитектуру
Начать Сейчас
Категория
Другое (Backend)
Дата добавления
19 нояб. 2026 г., 02:18
Язык
Английский

Курс по Apache Kafka и событийно-ориентированной архитектуре поможет вам освоить Event-Driven Architecture, Kafka, проектирование распределённых систем, обработку событий и подготовку к System Design Interview на практических инженерных задачах, с которыми сталкиваются backend-разработчики, архитекторы и platform-инженеры.

О курсе Apache Kafka и Event-Driven Architecture

Этот курс посвящён Apache Kafka и событийно-ориентированной архитектуре с акцентом на практические решения, которые инженеры принимают при проектировании масштабируемых распределённых систем.

Вы будете изучать не только возможности Kafka, но и логику архитектурного выбора: когда использовать события вместо синхронных запросов, как проектировать топики и партиции, какие гарантии доставки нужны системе, как учитывать отказоустойчивость, стоимость инфраструктуры и требования к согласованности данных.

Каждый урок построен вокруг конкретной инженерной задачи: выбор ключей сообщений, расчёт количества партиций, настройка подтверждений доставки, обработка дубликатов, проектирование retry-механизмов, использование DLQ, Transactional Outbox, Saga и других паттернов для событийных систем.

Все решения рассматриваются на практических примерах с расчётами, сравнением альтернатив и объяснением компромиссов. Примеры кода протестированы на настоящем брокере Apache Kafka 4.4, а результаты выполнения показаны в учебных материалах.

Чему вы научитесь на курсе

Основы событийно-ориентированной архитектуры

  • Понимать принципы Event-Driven Architecture и определять, когда её применение действительно оправданно.
  • Выбирать между синхронными API-запросами и асинхронным обменом событиями.
  • Разбираться в различиях между очередями сообщений и распределёнными журналами событий.
  • Проектировать события с понятными названиями, идентификаторами, ключами и структурой данных.
  • Оценивать влияние асинхронного взаимодействия на задержки, надёжность, наблюдаемость и сложность системы.

Архитектура и масштабирование Apache Kafka

  • Работать с ключевыми сущностями Kafka: топиками, партициями, брокерами, producers, consumers и consumer groups.
  • Рассчитывать необходимое количество партиций на основе интенсивности записи, чтения и требований к параллелизму.
  • Выбирать ключи партиционирования для сохранения порядка сообщений внутри бизнес-сущностей.
  • Предотвращать появление перегруженных партиций и проблем с неравномерным распределением нагрузки.
  • Масштабировать обработку событий с помощью Consumer Groups и Share Groups.
  • Понимать причины ребалансировок и снижать их влияние при медленной или нестабильной обработке сообщений.

Надёжность, репликация и хранение данных

  • Настраивать репликацию, acks и min.insync.replicas с учётом допустимого риска потери данных.
  • Анализировать поведение Kafka при отказах брокеров и сетевых проблемах.
  • Настраивать политики хранения событий: retention, удаление старых данных и log compaction.
  • Рассчитывать объём дискового пространства для Kafka-кластера.
  • Организовывать replay событий без нежелательных побочных эффектов для внешних систем.

Обработка сообщений и гарантии доставки

  • Понимать различия между At-Most-Once, At-Least-Once и Exactly-Once delivery.
  • Определять причины появления дублирующихся сообщений в Kafka.
  • Проектировать идемпотентных потребителей, устойчивых к повторной обработке событий.
  • Разбираться в возможностях и ограничениях транзакций Kafka.
  • Проектировать retry topics для повторной обработки временно неуспешных сообщений.
  • Использовать Dead Letter Queue, чтобы проблемные сообщения не блокировали обработку остальных событий.

Согласованность данных и распределённые транзакции

  • Применять паттерн Transactional Outbox для согласования изменений в базе данных и публикации событий.
  • Использовать Saga Pattern для управления распределёнными бизнес-процессами.
  • Выбирать ключи Kafka для последовательной обработки связанных событий.
  • Обеспечивать согласованность данных между независимыми микросервисами.
  • Безопасно изменять схемы событий и сохранять совместимость с существующими потребителями.

Мониторинг и диагностика Kafka

  • Измерять Consumer Lag в количестве сообщений и во времени.
  • Определять причины накопления необработанных событий.
  • Анализировать результаты работы инструментов Kafka и находить узкие места.
  • Выявлять проблемы производительности producers, consumers, брокеров и внешних зависимостей.
  • Подбирать решения для повышения стабильности, предсказуемости и отказоустойчивости системы.

Сравнение Kafka с альтернативными технологиями

Вы научитесь обоснованно выбирать платформу обмена сообщениями в зависимости от требований проекта, нагрузки, стоимости эксплуатации и сложности поддержки.

  • Apache Kafka — распределённый журнал событий для потоковой обработки, интеграции сервисов и построения event-driven систем.
  • RabbitMQ — брокер сообщений с гибкими механизмами маршрутизации и классическими очередями.
  • Amazon SQS — управляемый сервис очередей сообщений в AWS для простых и надёжных асинхронных сценариев.
  • Apache Pulsar — распределённая платформа обмена сообщениями и потоковой обработки с отдельным слоем хранения.

После сравнения вы сможете понять, когда Kafka действительно необходима, а когда более простое решение будет дешевле, быстрее во внедрении и удобнее в сопровождении.

Практические проекты в курсе

В заключительной части курса вы примените полученные знания при проектировании трёх полноценных систем, близких к задачам из реальной backend-разработки и архитектурных собеседований.

Система обработки заказов

Вы спроектируете событийный процесс обработки заказов с учётом последовательности операций, согласованности данных, повторной доставки сообщений, отказов сервисов и необходимости безопасного восстановления после сбоев.

Система уведомлений

Вы разработаете масштабируемую архитектуру доставки уведомлений с асинхронной обработкой, retry-механизмами, Dead Letter Queue и разделением потоков для разных типов сообщений.

Лента активности

Вы спроектируете систему обработки пользовательских событий с учётом высокой нагрузки, партиционирования, масштабирования потребителей, задержек и требований к производительности.

Подготовка к System Design Interview

Курс помогает подготовиться к архитектурным собеседованиям, где необходимо уверенно объяснять решения по Kafka, микросервисам, очередям сообщений и событийно-ориентированной архитектуре.

Большинство уроков включает рекомендации по тому, как аргументировать технические решения на System Design Interview: почему выбрана именно такая архитектура, какие компромиссы она содержит, какие альтернативы существуют и как система поведёт себя при росте нагрузки или отказах.

Каждая глава содержит практические вопросы и итоговую проверку знаний, чтобы закрепить материал и научиться формулировать ответы в формате собеседования.

Для кого подойдёт курс

  • Backend-разработчикам, которые хотят освоить Apache Kafka, асинхронное взаимодействие сервисов и event-driven подход.
  • Software Engineers, проектирующим масштабируемые распределённые системы и микросервисную архитектуру.
  • Software Architects, принимающим решения об интеграции сервисов, потоковой обработке и обмене событиями.
  • DevOps- и Platform-инженерам, работающим с инфраструктурой Kafka, отказоустойчивостью, мониторингом и эксплуатацией кластеров.
  • Разработчикам, готовящимся к System Design Interview, которым важно уверенно разбираться в Kafka, очередях сообщений и событийных системах.

Результат обучения

После прохождения курса вы сможете самостоятельно проектировать событийно-ориентированные системы на базе Apache Kafka, рассчитывать параметры инфраструктуры, выбирать ключи и партиции, обеспечивать надёжную обработку сообщений и применять архитектурные паттерны для согласованности данных.

Главная цель курса — научить вас не просто пользоваться Kafka, а принимать обоснованные инженерные решения: понимать, почему конкретная архитектура подходит для вашей системы, сколько она будет стоить, какие риски содержит и как поведёт себя при росте нагрузки или возникновении отказов.

  • Курс представлен полностью в текстовом формате. Для ознакомления с материалами скачайте архив курса.
  • This course is available entirely in text format. Please download the course archive to explore its contents.

Автор - DesignGurus.io

DesignGurus.io logo

DesignGurus.io

DesignGurus.io - это образовательная платформа для подготовки к техническим собеседованиям в IT-компаниях.Она предлагает курсы по системному дизайну, алгоритмам, структурам данных и поведенческим вопросам, созданные инженерами из ведущих технологических компаний.Формат обучения основан на понятных паттернах и реальных примерах (например, проектирование систем вроде Uber или Twitter).Платформа также предоставляет возможность пройти пробные собесед

LinkedInX (Twitter)YouTubeFacebook
Организация
+58

Другие материалы в этой категории

Kafka для разработчиков: тонкости и нюансы

Kafka для разработчиков: тонкости и нюансы

Apache Kafka для разработки и архитектуры

Apache Kafka для разработки и архитектуры

Введение в Apache Kafka

Введение в Apache Kafka

Apache Kafka для разработчиков

Apache Kafka для разработчиков

Основы Apache Kafka

Основы Apache Kafka

Воркшоп "Event-Driven Architecture"

Воркшоп "Event-Driven Architecture"

Комментарии
 logo
    КонтактыРаспространенные вопросыПлейлистыПриватностьУсловияПриложение для Android

    Смотрите курсы в приложении для Android: продолжайте с того же места и слушайте в фоне.

    Установить