В этом курсе вы освоите базовые знания, необходимые для уверенного старта работы с Apache Kafka. Вы научитесь настраивать очередь сообщений, писать продюсеров и консюмеров, а также поймёте, как Kafka вписывается в архитектуру платформ обработки данных и событий.
После прохождения этого курса вы с лёгкостью сможете работать с Kafka и понимать работу аналогичных облачных инструментов.
1. Основы Kafka и очередей сообщений
Вы разберётесь, что такое Kafka, как она используется в системах обработки потоков и событий. Узнаете, как устроены ключевые компоненты Kafka: топики, сообщения, группы потребителей, и как они взаимодействуют друг с другом. Также вы узнаете, как работает очередь сообщений, как данные в неё записываются и читаются, и почему важны порядок сообщений и гарантии доставки.
2. Архитектура Apache Kafka
Мы углубимся в ключевые элементы архитектуры Kafka. Вы узнаете, что такое партиции топиков, как они связаны с брокерами, и как происходит обработка данных внутри Kafka. Я объясню, что такое Zookeeper, какую роль он играет и как он взаимодействует с брокерами Kafka и метаданными.
3. Подготовка среды разработки
Вы научитесь запускать Kafka в среде Windows с использованием Docker. Я пошагово покажу, как настроить Bitnami Kafka Docker-контейнер, и дам практические советы для успешной установки и запуска среды.
4. Практика работы с Kafka
Вы настроите собственный топик Kafka, освоите базовые команды для работы с ним. Также вы создадите продюсера для записи сообщений и консюмера для их чтения. Мы протестируем их работу с помощью Python и научимся управлять смещениями консюмеров с использованием offset checker'а.
5. Kafka в платформе обработки данных
В заключении мы разберём, как Kafka может быть интегрирована в платформу Data Science. Вы увидите три практических сценария использования Kafka:
Эти примеры помогут вам начать внедрять Kafka в повседневную работу уже сегодня.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Rebrain (rebrainme.com)
Apache Kafka представляет собой распределённый программный брокер сообщений, предназначенный для организации очередей и мониторинга больших объемов входящего трафика данных. На данный момент Apache Kafka считается стандартом индустрии в роли брокера сообщений. Более 80 % компаний из списка Fortune 100 применяют Kafka.
Знание Apache Kafka в 2022 — мастхэв для инженеров инфраструктуры и важный плюс для программистов. Углублённый курс-интенсив с практикой на Java или Golang и платформой Spring+Docker+Postgres переведёт вас на новый уровень владения инструментом за 3 дня.
Это полное практическое руководство по Apache Kafka, которое включает в себя массу практических действий. Вы узнаете, как работает Apache Kafka, вы сможете намного проще использовать его функции и исправлять ошибки в будущем после того, как закончите этот курс. У вас могут быть нулевые знания об Apache Kafka, Java, Node.js или Python. Все будет преподаваться с нуля, от базовых до продвинутых функций. Если вы хотите получить глубокие знания Apache
Изучите Kafka Administration, Kafka Monitoring, Kafka Operations и Kafka Upgrades этом курсе. Присоединяйтесь к сотням подкованных студентов, чтобы изучить некоторые из самых важных знаний, которые должен знать и освоить любой администратор Kafka. Apache Kafka - это навык, пользующийся большим спросом, и людей недостаточно, чтобы заполнить все открытые вакансии. Вы можете увеличить свой доход и взять на себя новые роли. Многие из моих учеников те
Практический курс — настройка безопасности Kafka в AWS с шифрованием и аутентификацией SSL, SASL Kerberos, ACL в Zookeeper. Apache Kafka — это навык, пользующийся большим спросом, и людей недостаточно, чтобы заполнить все открытые вакансии. Вы можете увеличить свой доход, взять на себя новые роли и веселые испытания. Многие из моих учеников теперь являются экспертами по Kaffka в своих компаниях! Ты можешь быть следующим!
