Data Platform & Pipeline Design
Этот курс — оптимальный старт для тех, кто хочет разбираться в современном устройстве дата‑платформ и уверенно проектировать пайплайны. Материал подаётся последовательно: от основ архитектуры и типов обработки до продвинутых паттернов, интеграций с облачными сервисами и ML/GenAI‑пайплайнов. Курс поможет не просто понять терминологию, но и научиться строить работающие системы, применимые в реальных продуктах.
Курс даёт системное понимание платформ данных и всех ключевых типов пайплайнов, включая batch, streaming и ML‑процессы. Вы научитесь выбирать архитектуру под задачу, понимать её сильные стороны и подводные камни, а также связывать отдельные компоненты в единую экосистему.
Разбор базовых элементов дата‑платформы и типов пайплайнов, включая их структуру, наборы задач и область применения. Вы узнаете, как выглядит стандартный ML‑пайплайн и как он совмещается с другими типами обработки данных.
Детальная структура платформы: подключение источников, буферизация, преобразование данных, слои хранения и визуализация. На практическом примере вы увидите, как эти блоки объединяются в единый рабочий пайплайн.
Сравнение двух моделей передачи данных — отправки (push) и выборки (pull). Объясняются сценарии применения каждой модели и типичные ошибки при их смешивании.
Понимание различий между пакетной и потоковой обработкой. Разбор оптимальных сценариев использования, плюсов и минусов обеих моделей и типичных архитектурных решений.
Методы представления потоков, зависимостей и слоёв данных. Пример с Apache Spark помогает увидеть, как устроена потоковая обработка и хранение на практике.
Как объединить batch и streaming пайплайны в одной платформе. Особенно полезно для ML‑систем, где обучение работает на batch‑данных, а inference — в режиме стриминга.
Разбор шаблонов на AWS, GCP, Azure и Hadoop. Вы увидите, как сервисы (например, API Gateway, Lambda, DynamoDB) встраиваются в полноценную архитектуру данных.
Вторая часть курса нацелена на расширение инженерного мышления и умение проектировать платформы «от цели», а не «от инструмента».
Разбор отличий между ключевыми моделями обработки. Вы научитесь выбирать подход с учётом требований к задержке, пропускной способности и типу данных.
Как сопоставлять бизнес‑цели, типы данных и архитектурные решения. Методология, которая помогает строить платформы рационально, без избыточных инструментов.
Как совместить хранение файлов и транзакционные таблицы, и как трёхслойная структура bronze‑silver‑gold обеспечивает масштабируемость и предсказуемость данных.
Интеграция машинного обучения в дата‑платформу: где происходит обучение моделей, где выполняется inference, как выполняется деплой. Рассматриваются ключевые концепции semantic search и Retrieval‑Augmented Generation (RAG).
Стратегии тестирования пайплайнов: проверка загрузки, обработок, трансформаций и конечных слоёв. Вы узнаете, как обеспечить качество данных на всех этапах.
Если вам нужно научиться проектировать эффективные дата‑платформы — этот курс станет прочной основой.
Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум
Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.
