Для дата-инженера одна из главных задач - следить за тем, как работают пайплайны, и вовремя выявлять ошибки. Когда что-то идёт не так, поиск причины часто превращается в утомительный ручной просмотр гигантских логов - это долго и неэффективно.
Elasticsearch - это поисковый движок, который позволяет автоматизировать и ускорить этот процесс. Если отправлять логи напрямую в Elasticsearch, вы сможете находить нужную информацию за секунды - так же просто, как сделать поиск в Google.
В этом курсе вы узнаете, что такое Elasticsearch, почему он эффективен и как использовать его для анализа логов и мониторинга пайплайнов. В практической части вы научитесь отправлять события в Elasticsearch, выполнять поиск и создавать визуальные дашборды в Kibana.
Почему лог-анализ через Elasticsearch важен
Вы узнаете, зачем дата-инженерам нужен мониторинг логов и пайплайнов. В вводной части мы разберём архитектуру Elasticsearch и сравним его с реляционными базами данных, чтобы вы поняли ключевые отличия и преимущества.
Развёртывание Elasticsearch в Docker
Перед практикой вы научитесь запускать Elasticsearch и Kibana на своём компьютере с помощью Docker. Мы используем образы из Docker Hub и создадим Docker Compose-файл для запуска всей системы. Вы также познакомитесь с интерфейсом Kibana и его основными функциями для визуализации логов и данных.
Отправка логов в Elasticsearch
В практической части вы создадите новый индекс в Elasticsearch и напишете Python-скрипт, который будет генерировать и отправлять лог-события. Эти данные будут индексированы и станут доступны для быстрого поиска.
Визуализация и анализ логов в Kibana
После загрузки данных вы начнёте работать с Kibana: выполнять поиск, настраивать элементы визуализации и собирать дашборды. Вы научитесь отслеживать, что происходит в ваших пайплайнах, и находить участки с потерей данных.
В финальной части мы займёмся поиском ошибок в логах - вы узнаете, как быстро находить проблемы и устранять их с минимальными затратами времени.
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
udemy
Ищите, анализируйте и визуализируйте большие данные в кластере с помощью Elasticsearch, Logstash, Beats, Kibana и многого другого. Elasticsearch - это мощный инструмент не только для активизации поиска на больших веб-сайтах, но и для анализа больших наборов данных за считанные миллисекунды! Это все более популярная технология и ценный навык на современном рынке труда. Этот всеобъемлющий курс охватывает все, от установки до эксплуатации, с 60 лекц
udemy
Изучите Elicsearch с нуля и заложите основу для изучения стека ELK (Elasticsearch, Logstash и Kibana). Вы хотите узнать популярный поисковый движок Elasticsearch с самого начала и стать профессионалом в кратчайшие сроки? Этот курс является отличным способом для быстрого изучения Elasticsearch и для того, чтобы ваши знания работали всего за несколько часов! Если это так, то вы пришли в нужное место, так как это самый полный курс по Elasticsearch,
Andreas Kretz
В этом увлекательном инженерном проекте вы научитесь отслеживать перемещения пользователей по их сканированиям с телефона. Цель проекта - использовать Elasticsearch как поисковую систему для анализа набора данных, в котором 100,000 пользователей посещают магазины и делают 1,000,000 сканирований.
![[Книга] Руководство по Elasticsearch logo](https://cdn.coursehunter.net/courses/510x622/rukovodstvo-po-elasticsearch.webp)
