Главная страницаКатегория обработка и анализ данныхData Engineering

Data Engineering

Name: Data Engineering
Price: 12.5 USD
Rating: 5 (9 reviews)

skillfactory

★5 (всего оценок - 9)

Продолжительность

9 ч 41 мин

Категория

Обработка и анализ данных

Количество уроков

90 Видео

Дата добавления

14 апр. 2023 г., 19:02

Язык

Русский

Дата обновления

29 апр. 2026 г., 17:30

Прокачайте навыки построения надежных и масштабируемых data‑pipeline'ов — от работы с хранилищами данных до оркестрации процессов. Этот курс поможет вам уверенно освоить ключевые инструменты современного Data Engineering и применить их в реальных задачах бизнеса.

Кому подойдет этот курс

Программа создана для тех, кто хочет перейти от анализа данных к инженерии или усилить технические навыки в работе с большими данными. Курс будет особенно полезен:

начинающим Data Engineers с базовыми знаниями Python;
аналитикам, желающим понимать внутренние процессы обработки данных;
разработчикам, которым важно освоить работу с современными хранилищами и системами обработки данных;
тем, кто хочет научиться строить стабильные и автоматизированные конвейеры данных.

Что вы освоите

Работу с Linux для подготовки окружения и автоматизации процессов.
Понимание архитектуры и принципов работы современных хранилищ данных.
Использование Hadoop и связанных с ним технологий.
Работу с различными источниками данных и инструментами интеграции.
Построение процессов обработки данных на Apache Spark.
Организацию пайплайнов с помощью Apache Airflow.
Принципы работы с облачными платформами: Google Cloud, AWS и Azure.

Структура курса

1. Введение и практический Linux

Кто такой Data Engineer? Разберем ключевые задачи и инструменты. Познакомимся с Linux — фундаментом для работы с большим количеством компонентов data‑инфраструктуры.

2. Современные хранилища данных

Обзор реляционных и нереляционных баз данных, принципы хранения, индексации и оптимизации работы.

3. Экосистема Hadoop

Вы узнаете, как работает Hadoop, какие задачи решает и почему используется для масштабируемой обработки больших данных.

4. Источники данных и работа с ними

Практика работы с файлами, подключениями через JDBC и инструментами SQL для извлечения данных из различных систем.

5. Apache Spark и обработка данных

Обучитесь основам распределенной обработки данных и построению вычислительных задач на Spark.

6. Hadoop как хранилище данных

Подробно изучите работу HDFS: архитектуру, принципы надежности и способы оптимальной организации данных.

7. Apache Airflow для оркестрации конвейеров

Научитесь автоматизировать, мониторить и управлять сложными пайплайнами данных.

8. Облачные хранилища

Разберете, как устроены и чем отличаются Google Cloud Storage, Amazon S3 и Azure Blob Storage. Узнаете об особенностях интеграции и управления данными в облаке.

Почему этот курс эффективен

Основан на реальных задачах и практических кейсах.
Сосредоточен на инструментах, которые востребованы в индустрии.
Позволяет быстро собрать портфолио проектов для будущего трудоустройства.
Помогает системно понять, как данные проходят весь путь — от источника до аналитика.

Результаты прохождения

После завершения курса вы сможете уверенно строить, настраивать и поддерживать надежные пайплайны данных, работать с большими объемами информации, а также применять инструменты, которые используются в крупнейших компаниях.

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:06:08
1. Профессии в Data Science
Урок 2. 00:02:33
2. Обзор курса
Урок 3. 00:02:45
3. Особенности курса
Урок 4. 00:04:39
4. Практический Linux
Урок 5. 00:02:46
5. Пользователи в Linux
Урок 6. 00:03:05
6. Файлы, директории и права доступа
Урок 7. 00:08:29
7. Работа с файлами
Урок 8. 00:03:20
8. Процессы и ресурсы Linux-серверов
Урок 9. 00:13:54
9. Эффективная работа в командной строке ч.1
Урок 10. 00:07:11
9.1. Эффективная работа в командной строке ч.2
Урок 11. 00:05:57
10. Введение в bash скрипты
Урок 12. 00:07:50
11. Основы редактора vi
Урок 13. 00:07:30
1.1. Хранилища данных
Урок 14. 00:05:44
1.2. Business Intelligence и OLAP
Урок 15. 00:04:38
1.3. Звезда, снежинка и все-все-все
Урок 16. 00:04:21
1.4. Data Vault
Урок 17. 00:05:36
1.5. Эти буквы E, T и L
Урок 18. 00:06:07
1.6. Параллельная обработка
Урок 19. 00:07:47
1.7. DBMS - системы управления данными
Урок 20. 00:09:00
1.8. Очереди, буферы и другие
Урок 21. 00:00:19
1.9. О чём этот модуль
Урок 22. 00:03:02
2.1. Что такое Hadoop
Урок 23. 00:08:35
2.2. Знакомство с HDFS
Урок 24. 00:04:10
2.3. Знакомство с YARN
Урок 25. 00:04:52
2.4. Знакомство с Map Reduce
Урок 26. 00:13:38
2.5. Знакомство с Arenadata Hadoop
Урок 27. 00:07:06
2.6. Знакомство с Hive
Урок 28. 00:03:16
2.7. Знакомство с Apache Spark
Урок 29. 00:09:44
2.8. Знакомство с Apache Zeppelin
Урок 30. 00:00:19
2.9. О чём этот модуль
Урок 31. 00:06:27
3.1. Источники данных
Урок 32. 00:02:43
3.2.1. Работа с источниками структурированных данных
Урок 33. 00:10:10
3.2.2. Практика. Работа с источниками структурированных данных
Урок 34. 00:04:06
3.2.3. Особенности процесса работы с источниками структурированных данных
Урок 35. 00:01:55
3.3.1. Работа со структурированными файлами
Урок 36. 00:10:46
3.3.2. Практика. Работа со структурированными файлами
Урок 37. 00:06:58
3.3.3. Особенности процесса работы со структурированными файлами
Урок 38. 00:08:34
3.4. Работа с небольшими неструктурированными файлами
Урок 39. 00:09:07
3.4.1. Введение в Kafka, NiFi и HBase
Урок 40. 00:04:58
3.5. Apache Spark и идеальный мир
Урок 41. 00:12:41
3.6. Загрузка XML-файлов
Урок 42. 00:03:58
3.7. Загрузка JSON-файлов
Урок 43. 00:04:59
3.8. Автоматизация процесса загрузки
Урок 44. 00:10:32
3.8.1. Автоматизация процесса загрузки таблиц - Модуль 3
Урок 45. 00:15:18
3.8.2. Автоматизация процесса загрузки таблиц
Урок 46. 00:00:30
3.9. О чём этот модуль
Урок 47. 00:06:43
4.1.1. Введение в Spark- pyspark, приложения, режимы, абстракции
Урок 48. 00:05:59
4.1.2. Введение в Spark- dataframe, методы, движение данных
Урок 49. 00:19:47
4.2. Установка и настройка Spark
Урок 50. 00:11:47
4.3.1. Ввод и вывод в Spark- работа с файлами
Урок 51. 00:07:30
4.3.2. Ввод и вывод в Spark- работа с базами данных
Урок 52. 00:05:40
4.4. Базовые трансформации в Spark
Урок 53. 00:06:08
4.5. Объединение dataframe
Урок 54. 00:02:23
4.6. Агрегаты и оконные функции, сортировка
Урок 55. 00:05:17
4.7. Spark SQL - Модуль 4. Apache Spark и обработка данных
Урок 56. 00:09:00
4.8. RDD- Resilient Distributed Dataset
Урок 57. 00:00:31
4.9. О чём этот модуль - Модуль 4. Apache Spark и обработка данных
Урок 58. 00:03:35
5.1. Файловые системы Hadoop
Урок 59. 00:04:20
5.2. Системы управления базами данных Hadoop
Урок 60. 00:04:12
5.3. Погружение в Hive
Урок 61. 00:12:12
5.4. Метаданные в Hive
Урок 62. 00:05:49
5.5. Форматы файлов Hadoop ч.1
Урок 63. 00:05:25
5.6. Форматы файлов Hadoop ч.2
Урок 64. 00:10:45
5.7. Практическое знакомство с форматами файлов
Урок 65. 00:03:06
5.8. Партиции в Hive
Урок 66. 00:18:30
5.9. Partitions & Buckets- практическая часть
Урок 67. 00:05:08
5.10. Транзакции
Урок 68. 00:10:19
5.11. Транзакции в Hive
Урок 69. 00:08:06
5.12. Каталогизация данных
Урок 70. 00:06:11
5.13. Обзор Apache Atlas
Урок 71. 00:05:16
5.14. Управление доступом к данным
Урок 72. 00:01:13
5.15. О чём этот модуль
Урок 73. 00:04:42
6.1. Введение
Урок 74. 00:06:33
6.2. Установка и настройка Airflow
Урок 75. 00:07:43
6.3. Основные сущности Airflow
Урок 76. 00:09:58
6.4. Создадим наш первый DAG
Урок 77. 00:10:37
6.5. Решение типовых проблем
Урок 78. 00:05:15
6.6. Решение типовых проблем. Лог файлы
Урок 79. 00:04:32
6.7. Subdags & branches
Урок 80. 00:14:42
6.8. Airflow Subdags
Урок 81. 00:05:18
6.9. Взаимодействие со Spark
Урок 82. 00:05:29
6.10. Пример. Взаимодействие со Spark
Урок 83. 00:04:17
6.11. Знакомство с Apache Livy
Урок 84. 00:00:29
6.12. О чём этот модуль
Урок 85. 00:05:50
7.1. Обзор облачных хранилищ
Урок 86. 00:06:55
7.2. Amazon Web Services ч.1
Урок 87. 00:04:03
7.3. Amazon Web Services ч.2
Урок 88. 00:04:08
7.4. Microsoft Azure
Урок 89. 00:05:08
7.5. Google Cloud Platform
Урок 90. 00:02:43
7.6 Yandex Cloud

Автор - skillfactory

skillfactory

Онлайн-школа Skillfactory предоставляет своим студентам практические знания и опыт, который может быть применен на практике. Это делает выпускников школы привлекательными кандидатами для найма.

-5

Комментарии

chop_chop
1 авг. 2025 г., 21:34
не могли бы вы скачать материалы и открыть некоторые файли и взглянуть что за каракулы?-_-
CourseHunter Team chop_chop
1 авг. 2025 г., 22:34
Чувак, ты уже порядком подзамахал. Сначала у тебя нет материалов, теперь какие-то каракули. Или сам разбирайся, или скажи чётко, что тебе нужно.
chop_chop
28 июл. 2025 г., 21:36
ничего нету в материалах курса, добавьте материалы плез
CourseHunter Team chop_chop
31 июл. 2025 г., 21:04
Если там ничего нет, почему они весят 107мб ?
faizi
8 авг. 2024 г., 11:11
@andrew Is there english subtitles available for this. Thank you
...
26 окт. 2023 г., 13:04
Need english subtitles please
xxin
26 июн. 2023 г., 22:40
Admin, is there english subtitle? thank you!