Elasticsearch помогает дата-инженерам ускорять поиск ошибок, анализировать большие объёмы логов и повышать надёжность пайплайнов. В обновлённом описании курса мы делаем акцент на практических навыках, преимуществах технологии и реальных сценариях применения, чтобы учащиеся сразу понимали ценность инструмента.
Что вы узнаете в этом курсе
Курс построен так, чтобы вы не просто разобрались с Elasticsearch, но и смогли применить его в повседневной работе для анализа логов и мониторинга пайплайнов.
Зачем использовать Elasticsearch для логов
Лог-анализ — критически важная часть работы дата-инженера. Мы разберём:
почему традиционный просмотр логов неэффективен;
какие преимущества даёт поисковый движок Elasticsearch;
как он устроен и чем отличается от реляционных баз данных;
в каких сценариях Elasticsearch особенно полезен.
Практическая работа с Elasticsearch и Kibana
Значительная часть курса посвящена тому, чтобы вы могли работать с системой самостоятельно — от развёртывания до визуализации данных.
Развёртывание в Docker
Вы научитесь:
разворачивать Elasticsearch и Kibana с помощью Docker Compose;
использовать официальные образы из Docker Hub;
ориентироваться в интерфейсе Kibana и её инструментах визуализации.
Отправка логов и создание индексов
В практическом блоке вы:
создадите собственный индекс в Elasticsearch;
напишете Python-скрипт для генерации и отправки лог-событий;
разберётесь, как Elasticsearch индексирует данные и обеспечивает быстрый поиск.
Визуализация и поиск ошибок
После загрузки данных вы перейдёте к анализу логов в Kibana.
Работа с Kibana
выполнение поисковых запросов;
создание визуализаций разных типов;
сбор информативных дашбордов для мониторинга пайплайнов.
Поиск ошибок и диагностика
В финальной части курса вы освоите приёмы быстрой диагностики проблем:
поиск ошибок в логах за секунды;
выявление узких мест и потерь данных;
анализ поведения пайплайнов в реальном времени.
Кому подойдёт этот курс
Курс будет полезен:
дата-инженерам, работающим с потоковыми или батч-процессами;
разработчикам, которым важно мониторить логи приложений;
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
Простой, понятный курс для новичков, в котором рассказываются базовые понятия Elasticsearch. Английский внятный, чистый, легко воспринимается без субтитров.