Главная страницаКатегория обработка и анализ данныхБуткемп по дата-инженерии: от нуля до мастера

Буткемп по дата-инженерии: от нуля до мастера

Name: Буткемп по дата-инженерии: от нуля до мастера
Price: 13 USD
Rating: 5 (11 reviews)

The Data Engineering Bootcamp: Zero to Mastery

zerotomastery.io

★5 (всего оценок - 11)

Буткемп по дата-инженерии: от нуля до мастера

Начать Сейчас

Продолжительность

16 ч 46 мин

Категория

Обработка и анализ данных

Количество уроков

183 Видео

Дата добавления

13 июл. 2025 г., 02:17

Язык

Английский

Дата выхода

1 июл. 2025 г., 01:00

Дата обновления

10 февр. 2026 г., 08:53

Научитесь строить потоковые пайплайны с Apache Kafka и Flink, создавать data lake'и на AWS, запускать ML-воркфлоу на Spark и интегрировать LLM-модели в продакшн-системы. Этот курс создан, чтобы запустить вашу карьеру и сделать вас востребованным дата-инженером завтрашнего дня.

Почему Data Engineering — новая большая профессия в IT?

Data Engineering стремительно становится одной из самых быстрорастущих и востребованных профессий в мире технологий. С ростом числа AI-продуктов, аналитических систем и real-time приложений компании активно развивают свои дата-инфраструктуры, что подталкивает спрос на специалистов.

Только за прошлый год было создано более 20,000 новых вакансий дата-инженеров, а общее количество открытых позиций в Северной Америке приблизилось к 150,000, что ясно демонстрирует взрывной рост индустрии.

При этом зарплаты впечатляют:

Начальный уровень - от $80,000 до $110,000 в год
Средний и старший уровень - до $190,000–$200,000+

Более того, дата-инженеры играют стратегическую роль: они создают фундамент для систем машинного обучения, аналитики и AI, без которых невозможны современные технологические продукты. С дальнейшим ростом AI спрос на дата-инженеров будет только расти, создавая отличные возможности для долгосрочной карьеры и финансовой стабильности.

Почему именно этот буткемп?

Наш буткемп разработан так, чтобы быть максимально полным и практичным, без лишней теории и устаревших туториалов. Вы будете учиться шаг за шагом и строить реальные проекты на тех же инструментах, что используют профессионалы.

Вы начнете с Apache Spark, обрабатывая реальные данные Airbnb и осваивая масштабные вычисления. Затем создадите современный data lake на AWS с использованием S3, EMR, Glue и Athena. Научитесь оркестрации пайплайнов с Apache Airflow, построите потоковые системы на Kafka и Flink, и даже интегрируете машинное обучение и LLM (Large Language Models) прямо в пайплайны.

В результате вы научитесь строить end-to-end системы продакшн-уровня - именно такие навыки ищут работодатели.

Что внутри курса?

Введение в Data Engineering
- Поймете, как устроена современная дата-инженерия и что нужно для старта.
Обработка больших данных с Apache Spark
- Учитесь работать с большими наборами данных, используя DataFrame API, UDF, агрегации и оптимизацию.
Создание data lake на AWS
- Стройте масштабируемые хранилища данных, используя S3, EMR и Athena.
Пайплайны с Apache Airflow
- Автоматизируйте и управляйте задачами, обрабатывайте ошибки, планируйте и запускайте Spark-джобы.
ML с Spark MLlib
- Встраивайте машинное обучение в свои пайплайны - классификация, регрессия, подбор моделей.
AI и LLM в дата-инженерии
- Используйте Hugging Face и другие инструменты для интеграции LLM в обработку данных.
Потоковая обработка с Apache Kafka и Flink
- Создавайте real-time системы, обрабатывайте события, работайте с потоками в реальном времени.

Результат

После окончания курса вы не просто посмотрите видео - вы станете настоящим дата-инженером, готовым строить системы, которые нужны компаниям сегодня.

Тысячи наших выпускников уже работают в Google, Tesla, Amazon, Apple, IBM, JP Morgan, Facebook, Shopify и других топовых компаниях.

Многие из них начинали с нуля. Так почему бы не стать следующим?

Посмотреть больше

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:01:35
The Data Engineering Bootcamp: Zero to Mastery
Урок 2. 00:11:47
Introduction
Урок 3. 00:10:57
Storing Data
Урок 4. 00:07:08
Processing Data
Урок 5. 00:10:23
Data Sources
Урок 6. 00:06:24
Orchestration
Урок 7. 00:07:11
Stream Processing
Урок 8. 00:08:14
AI and ML with Data Engineering
Урок 9. 00:06:58
Serving Data
Урок 10. 00:07:25
Cloud and Data Engineering
Урок 11. 00:01:19
Source Code for This Bootcamp
Урок 12. 00:02:54
Prerequisites
Урок 13. 00:04:30
What’s Next?
Урок 14. 00:05:00
Introduction
Урок 15. 00:07:38
Jupyter Notebooks
Урок 16. 00:06:34
Python - Lists
Урок 17. 00:03:37
Python - Tuples
Урок 18. 00:07:05
Python - Dictionaries
Урок 19. 00:03:21
Python - Sets
Урок 20. 00:04:05
Python - Range
Урок 21. 00:06:00
Python - Comprehensions
Урок 22. 00:04:43
Python - Strings Formatting
Урок 23. 00:04:00
Python - Functions
Урок 24. 00:07:55
Python - Decorators
Урок 25. 00:07:20
Python - Exceptions
Урок 26. 00:12:14
Python - Classes - Part 1
Урок 27. 00:08:29
Python - Classes - Part 2
Урок 28. 00:07:50
Python - Iterators
Урок 29. 00:06:53
CLI - Basic Commands
Урок 30. 00:05:36
CLI - Combining Commands
Урок 31. 00:03:35
CLI - Environment Variables
Урок 32. 00:06:37
Virtual Environments - What Is a Virtualenv?
Урок 33. 00:03:30
SQL - Introduction
Урок 34. 00:04:31
SQL - Environment Set Up
Урок 35. 00:07:45
SQL - Fetching Data
Урок 36. 00:06:24
SQL - Grouping Rows
Урок 37. 00:07:07
SQL - Joining Data
Урок 38. 00:06:04
SQL - Creating Data
Урок 39. 00:04:08
Introduction
Урок 40. 00:03:44
Apache Spark
Урок 41. 00:04:24
How Spark Works
Урок 42. 00:07:41
Spark Application
Урок 43. 00:06:43
DataFrames
Урок 44. 00:05:51
Installing Spark
Урок 45. 00:07:02
Inside Airbnb Data
Урок 46. 00:07:05
Writing Your First Spark Job
Урок 47. 00:02:16
Lazy Processing
Урок 48. 00:01:29
[Exercise] Basic Functions
Урок 49. 00:06:41
[Exercise] Basic Functions - Solution
Урок 50. 00:04:00
Aggregating Data
Урок 51. 00:04:40
Joining Data
Урок 52. 00:06:10
Aggregations and Joins with Spark
Урок 53. 00:05:09
Complex Data Types
Урок 54. 00:00:50
[Exercise] Aggregate Functions
Урок 55. 00:05:54
[Exercise] Aggregate Functions - Solution
Урок 56. 00:03:25
User Defined Functions
Урок 57. 00:06:14
Data Shuffle
Урок 58. 00:03:42
Data Accumulators
Урок 59. 00:07:39
Optimizing Spark Jobs
Урок 60. 00:04:29
Submitting Spark Jobs
Урок 61. 00:05:16
Other Spark APIs
Урок 62. 00:04:33
Spark SQL
Урок 63. 00:02:10
[Exercise] Advanced Spark
Урок 64. 00:05:26
[Exercise] Advanced Spark - Solution
Урок 65. 00:03:08
Summary
Урок 66. 00:04:26
Introduction
Урок 67. 00:09:08
What Is a Data Lake?
Урок 68. 00:07:47
Amazon Web Services (AWS)
Урок 69. 00:05:45
Simple Storage Service (S3)
Урок 70. 00:09:29
Setting Up an AWS Account
Урок 71. 00:03:24
Data Partitioning
Урок 72. 00:07:49
Using S3
Урок 73. 00:02:59
EMR Serverless
Урок 74. 00:02:52
IAM Roles
Урок 75. 00:08:49
Running a Spark Job
Урок 76. 00:07:41
Parquet Data Format
Урок 77. 00:05:32
Implementing a Data Catalog
Урок 78. 00:06:42
Data Catalog Demo
Урок 79. 00:04:00
Querying a Data Lake
Урок 80. 00:03:39
Summary
Урок 81. 00:05:53
Introduction
Урок 82. 00:05:19
What Is Apache Airflow?
Урок 83. 00:03:15
Airflow’s Architecture
Урок 84. 00:06:33
Installing Airflow
Урок 85. 00:08:03
Defining an Airflow DAG
Урок 86. 00:03:38
Errors Handling
Урок 87. 00:04:54
Idempotent Tasks
Урок 88. 00:04:58
Creating a DAG - Part 1
Урок 89. 00:04:42
Creating a DAG - Part 2
Урок 90. 00:04:09
Handling Failed Tasks
Урок 91. 00:04:31
[Exercise] Data Validation
Урок 92. 00:03:27
[Exercise] Data Validation - Solution
Урок 93. 00:03:02
Spark with Airflow
Урок 94. 00:07:39
Using Spark with Airflow - Part 1
Урок 95. 00:05:52
Using Spark with Airflow - Part 2
Урок 96. 00:04:46
Sensors In Airflow
Урок 97. 00:04:08
Using File Sensors
Урок 98. 00:05:50
Data Ingestion
Урок 99. 00:06:03
Reading Data From Postgres - Part 1
Урок 100. 00:05:40
Reading Data from Postgres - Part 2
Урок 101. 00:03:53
[Exercise] Average Customer Review
Урок 102. 00:04:33
[Exercise] Average Customer Review - Solution
Урок 103. 00:04:26
Advanced DAGs
Урок 104. 00:02:27
Summary
Урок 105. 00:05:28
Introduction
Урок 106. 00:06:06
What Is Machine Learning
Урок 107. 00:05:38
Regression Algorithms
Урок 108. 00:05:04
Building a Regression Model
Урок 109. 00:09:46
Training a Model
Урок 110. 00:07:26
Model Evaluation
Урок 111. 00:03:57
Testing a Regression Model
Урок 112. 00:02:12
Model Lifecycle
Урок 113. 00:08:44
Feature Engineering
Урок 114. 00:07:34
Improving a Regression Model
Урок 115. 00:03:56
Machine Learning Pipelines
Урок 116. 00:02:41
Creating a Pipeline
Урок 117. 00:01:59
[Exercise] House Price Estimation
Урок 118. 00:03:12
[Exercise] House Price Estimation - Solution
Урок 119. 00:02:57
[Exercise] Imposter Syndrome
Урок 120. 00:07:37
Classification
Урок 121. 00:04:27
Classifiers Evaluation
Урок 122. 00:08:31
Training a Classifier
Урок 123. 00:08:06
Hyperparameters
Урок 124. 00:03:02
Optimizing a Model
Урок 125. 00:02:34
[Exercise] Loan Approval
Урок 126. 00:02:33
[Exercise] Load Approval - Solution
Урок 127. 00:06:56
Deep Learning
Урок 128. 00:03:23
Summary
Урок 129. 00:05:07
Introduction
Урок 130. 00:06:11
Natural Language Processing (NLP) before LLMs
Урок 131. 00:06:21
Transformers
Урок 132. 00:07:40
Types of LLMs
Урок 133. 00:02:19
Hugging Face
Урок 134. 00:10:38
Databricks Set Up
Урок 135. 00:07:36
Using an LLM
Урок 136. 00:03:42
Structured Output
Урок 137. 00:05:10
Producing JSON Output
Урок 138. 00:05:20
LLMs With Apache Spark
Урок 139. 00:02:48
Summary
Урок 140. 00:06:06
Introduction
Урок 141. 00:07:00
What Is Apache Kafka?
Урок 142. 00:08:56
Partitioning Data
Урок 143. 00:07:42
Kafka API
Урок 144. 00:03:15
Kafka Architecture
Урок 145. 00:05:53
Set Up Kafka
Урок 146. 00:06:07
Writing to Kafka
Урок 147. 00:07:37
Reading from Kafka
Урок 148. 00:06:39
Data Durability
Урок 149. 00:02:11
Kafka vs Queues
Урок 150. 00:03:44
[Exercise] Processing Records
Урок 151. 00:02:59
[Exercise] Processing Records - Solution
Урок 152. 00:05:53
Delivery Semantics
Урок 153. 00:04:34
Kafka Transactions
Урок 154. 00:03:23
Log Compaction
Урок 155. 00:06:59
Kafka Connect
Урок 156. 00:09:44
Using Kafka Connect
Урок 157. 00:04:31
Outbox Pattern
Урок 158. 00:08:01
Schema Registry
Урок 159. 00:08:10
Using Schema Registry
Урок 160. 00:03:28
Tiered Storage
Урок 161. 00:04:27
[Exercise] Track Order Status Changes
Урок 162. 00:05:06
[Exercise] Track Order Status Changes - Solution
Урок 163. 00:04:41
Summary
Урок 164. 00:05:40
Introduction
Урок 165. 00:05:24
What Is Apache Flink?
Урок 166. 00:08:11
Flink Applications
Урок 167. 00:03:11
Multiple Streams
Урок 168. 00:05:46
Installing Apache Flink
Урок 169. 00:07:22
Processing Individual Records
Урок 170. 00:04:02
[Exercise] Stream Processing
Урок 171. 00:02:40
[Exercise] Stream Processing - Solution
Урок 172. 00:06:49
Time Windows
Урок 173. 00:02:40
Keyed Windows
Урок 174. 00:05:18
Using Time Windows
Урок 175. 00:10:06
Watermarks
Урок 176. 00:06:17
Advanced Window Operations
Урок 177. 00:07:50
Stateful Stream Processing
Урок 178. 00:04:42
Using Local State
Урок 179. 00:04:35
[Exercise] Anomalies Detection
Урок 180. 00:03:34
[Exercise] Anomalies Detection - Solution
Урок 181. 00:05:50
Joining Streams
Урок 182. 00:03:10
Summary
Урок 183. 00:01:18
Thank You!

https://github.com/mushketyk/ztm-data-engineering

Автор - zerotomastery.io

zerotomastery.io

Независимо от того, начинаете ли вы изучать программирование или хотите усовершенствовать свои навыки, Академия Zero To Mastery научит вас React, Javascript, Python, CSS и многим другим вещам, чтобы помочь вам продвинуться по карьерной лестнице, получить работу и добиться успеха в некоторых ведущих компаниях.

+262

Комментарии

momie2005
8 февр. 2026 г., 12:39
and plz team is there a pdfs/the papers of the video ?? thank you all
CourseHunter Team momie2005
10 февр. 2026 г., 16:29
https://www.notion.so/Course-Handbook-Data-Engineering-Bootcamp-Zero-to-Mastery-210d203170fb80958f03f07e49b060b2
momie2005 CourseHunter Team
14 февр. 2026 г., 13:18
I think you missed some videos in the new updates … about docker ….
momie2005 momie2005
15 февр. 2026 г., 10:29
my bad so good all, can we have this course also plz of data eng ? https://learn.krishnaikacademy.com/web/checkout/6746d8f5b7bc6c69007be95b
CourseHunter Team momie2005
14 февр. 2026 г., 20:58
example please
momie2005 CourseHunter Team
15 февр. 2026 г., 09:44
can we have this also ? https://learn.krishnaikacademy.com/web/checkout/6746d8f5b7bc6c69007be95b
CourseHunter Team momie2005
16 февр. 2026 г., 14:38
We have order table, add it there.
momie2005 CourseHunter Team
17 февр. 2026 г., 12:58
Already done and peopole waiting and liking it
CourseHunter Team momie2005
17 февр. 2026 г., 22:00
Good. 👌✔
momie2005 CourseHunter Team
19 февр. 2026 г., 21:31
Can you plz add it asap? Or all the bundle of its academy from its courses IIA ml big data….
CourseHunter Team momie2005
19 февр. 2026 г., 21:35
ASAP for 10 likes order? We have other ASAP's too
momie2005 CourseHunter Team
15 февр. 2026 г., 06:32
my bad
momie2005 CourseHunter Team
14 февр. 2026 г., 08:50
so he didn't put the pdfs :/ to juste revise not see all the video ok thnkiiies
momie2005
7 февр. 2026 г., 10:37
hello it's now 17 hours not only 13 thank you team
CourseHunter Team momie2005
10 февр. 2026 г., 16:28
Updated
momie2005 CourseHunter Team
14 февр. 2026 г., 08:21
you're the best thanks
momie2005
7 февр. 2026 г., 10:03
hello ,

the course added a section Section 01: Data Engineering Fundamentals: Python, SQL + more can you please update it asap?

thanks a lot team
Anonymous
10 янв. 2026 г., 18:20
Can you share the codes from the github repo? It seems the code zip file has only one txt file - Installing Spark on Linux.txt
CourseHunter Team Anonymous
11 янв. 2026 г., 00:02
Repo link is under the player ✨