Realtime Analytics — практический DLC для инженеров данных, которые хотят собрать полноценный пайплайн аналитики в реальном времени: забрать изменения из PostgreSQL через CDC, передать события в Kafka, посчитать метрики в ClickHouse и отдать результат через FastAPI. После прохождения вы сможете не только поднять стек, но и диагностировать типовые поломки по lag, freshness, SLA и контрактам данных.
Kafka, CDC, ClickHouse или realtime-метриками.Вы соберёте сквозной процесс обработки данных: от изменения в базе-источнике до готовой метрики в API. Будете понимать, какую роль играют PostgreSQL, Debezium, Kafka, ClickHouse и FastAPI, а также как сбой одного компонента влияет на весь pipeline.
Вы научитесь забирать изменения из PostgreSQL через Change Data Capture: работать с логической репликацией, initial snapshot, insert/update/delete событиями, ключами сообщений и event envelope.
Вы подключите поток событий из Kafka к ClickHouse, создадите raw layer, materialized views и агрегаты по временным окнам, статусам и сущностям. Отдельное внимание уделяется freshness timestamp и проверке задержки обновления данных.
Вы научитесь определять, насколько свежи данные, какие метрики показывают отставание пайплайна и как понять, выполняется ли SLA по задержке и качеству данных.
Дубли, пропущенные события, consumer lag, schema drift, неверные агрегаты и устаревшие данные в кеше — вы разберёте типовые причины таких проблем и научитесь восстанавливать пайплайн после сбоя.
На курсе вы соберёте стек, который принимает, передаёт, обрабатывает и отдаёт данные с минимальной задержкой. Вместо ночных batch-обработок данные проходят через pipeline непрерывно, а метрики обновляются близко к реальному времени.
Вы перехватываете изменения в PostgreSQL и отправляете их в Kafka как события. Это позволяет строить аналитику без постоянного полного перечитывания таблиц.
Kafka управляет потоком событий, хранит сообщения в топиках, позволяет масштабировать потребителей и контролировать lag. Вы разберёте, как данные движутся по топикам и как проверять, что события действительно доходят до downstream-систем.
ClickHouse принимает потоковые данные, хранит raw events и считает агрегаты через materialized views. Вы научитесь строить метрики, которые можно использовать в API, мониторинге и аналитических интерфейсах.
FastAPI предоставляет endpoints для получения метрик из ClickHouse. Вы добавите фильтры, группировки, пагинацию, кеширование и обработку ошибок, чтобы API было пригодно для реального использования.
Каждая лабораторная работа — это практическая задача с кодом, локальным окружением и автоматической проверкой. Вы не просто смотрите на готовый pipeline, а сами настраиваете компоненты, запускаете тестовые события и исправляете ошибки.
Вы настроите Debezium-коннектор с логической репликацией PostgreSQL, снимете initial snapshot, пройдёте insert/update/delete события и разберёте event envelope, keys и базовую schema evolution без downtime.
Kafka topics содержат ожидаемые события.Вы подключите события из Kafka в ClickHouse через Kafka Engine, создадите raw events table и materialized views для бизнес-метрик. Затем посчитаете агрегаты по time window, entity и status, добавите freshness timestamp и проверите задержку обновления.
Вы реализуете сервис на FastAPI поверх ClickHouse с endpoints для метрик. Добавите поддержку фильтров, time range, group by, pagination, кеширование тяжёлых запросов и freshness checks с корректной обработкой ошибок.
ClickHouse.Вы получите заранее сломанный pipeline и найдёте причины lag, schema drift и неправильных метрик. После восстановления напишете incident note с root cause analysis и recovery plan — так, как это делают при разборе реального инцидента.
Программа рассчитана на инженеров уровня middle и выше. Чтобы сразу включиться в работу, важно уверенно чувствовать себя в Python, SQL и локальной инфраструктуре.
Вы будете писать сервисы и обработчики на Python. Пригодится уверенное знание синтаксиса, классов, исключений и асинхронного кода на async/await.
Вы будете писать запросы к PostgreSQL и ClickHouse. Нужно понимать join'ы, агрегации, оконные функции и уметь самостоятельно проверять корректность результата.
Вы будете поднимать локальное окружение в Docker и работать через командную строку: запускать docker-compose, читать логи контейнеров, проверять конфиги и разбираться, почему сервис не стартует.
async/await.docker-compose и разобраться, почему контейнер не стартует.Kafka, CDC, ClickHouse или realtime-метриками — пусть и поверхностно.PostgreSQL, Debezium, Kafka, ClickHouse и FastAPI часто встречаются в задачах data engineering.Нет. Kafka — важная часть пайплайна, но курс шире: вы проходите весь путь от CDC в PostgreSQL до метрик в ClickHouse и API на FastAPI.
Курс ориентирован на практику. Вы разберёте ключевые понятия, необходимые для работы с realtime analytics, но фокус будет на сборке, проверке и отладке пайплайна.
Глубокий опыт не обязателен, но важно уверенно знать SQL и понимать, как работают агрегации. На курсе вы будете создавать таблицы, materialized views и проверять корректность метрик.
Итоговый результат — рабочий end-to-end pipeline для аналитики в реальном времени, который принимает изменения из PostgreSQL, передаёт их через Kafka, считает метрики в ClickHouse и отдаёт их через API.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Игорь Мосягин — инженер данных, технический консультант и специалист по машинному обучению с более чем 10-летним опытом в IT. Основатель шведской консалтинговой компании shrimpsizemoose AB, специализирующейся на инженерии данных, аналитических платформах, машинном обучении и DataOps.Игорь имеет серьёзную академическую подготовку, включая докторские исследования в области теоретической физики и материаловедения. За свою профессиональную карьеру пр