Главная страница Категория aws Инженерия данных на AWS

Инженерия данных на AWS

Name: Инженерия данных на AWS
Price: 13 USD
Rating: 5 (2 reviews)

Data Engineering on AWS

Andreas Kretz

★ 5 (всего оценок - 2)

Начать Сейчас

Продолжительность

4 ч 46 мин

Категория

AWS

Количество уроков

58 Видео

Дата добавления

29 мая 2025 г., 20:35

Язык

Английский

Этот курс - идеальный старт для тех, кто хочет освоить облачные технологии и начать работать с Amazon Web Services (AWS), одной из самых популярных платформ для обработки данных. Курс особенно полезен для начинающих инженеров данных и тех, кто ищет первую работу в этой сфере.

В рамках курса вы создадите полноценный end-to-end проект на основе данных из интернет-магазина. Шаг за шагом вы научитесь моделировать данные, строить пайплайны и работать с ключевыми инструментами AWS: Lambda, API Gateway, Kinesis, DynamoDB, Redshift, Glue и S3.

Что вас ждет в курсе:

Работа с данными
- Изучите структуру и типы данных, с которыми будете работать. Определите цели проекта - важный шаг для успешной реализации.
Проектирование платформы и пайплайнов
- Познакомитесь с архитектурой платформы и спроектируете пайплайны: для загрузки данных, их хранения в S3 (Data Lake), обработки в DynamoDB (NoSQL) и Redshift (Data Warehouse). Научитесь строить пайплайны для интерфейсов и потоковой передачи данных.
Основы AWS
- Создадите аккаунт в AWS, разберетесь в управлении доступом и безопасности (IAM), познакомитесь с CloudWatch и библиотекой Boto3 для работы с AWS через Python.
Пайплайн загрузки данных (Data Ingestion)
- Создадите API через API Gateway, отправите данные в Kinesis, настроите IAM и разработаете ingestion pipeline на Python.
Передача данных в S3 (Data Lake)
- Настроите Lambda-функцию для получения данных из Kinesis и их сохранения в S3.
Передача данных в DynamoDB
- Реализуете пайплайн для передачи данных из Kinesis в DynamoDB - быструю NoSQL-базу данных.
API для доступа к данным
- Создадите API для работы с данными в базе. Узнаете, почему прямой доступ из визуализации к базе данных - плохая практика.
Визуализация данных в Redshift
- Отправите потоковые данные в Redshift через Kinesis Firehose, создадите кластер Redshift, настроите безопасность, создадите таблицы и настроите Firehose. Подключите Power BI к Redshift для анализа данных.
Batch-обработка: AWS Glue, S3 и Redshift
- Освоите пакетную обработку данных: настроите и запустите Glue для записи данных из S3 в Redshift, разберетесь с Crawler и каталогом данных, научитесь отлаживать процессы.

Этот курс поможет вам получить практический опыт создания потоковых и пакетных пайплайнов в AWS, а также освоить ключевые инструменты для работы с данными в облаке.

Посмотреть больше

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:00:31

Important: Before you start!
Урок 2. 00:02:22

Introduction
Урок 3. 00:04:16

Data Engineering
Урок 4. 00:05:21

Data Science Platform
Урок 5. 00:03:04

Data Types You Encounter
Урок 6. 00:02:55

What Is A Good Dataset
Урок 7. 00:03:17

The Dataset We Use
Урок 8. 00:06:28

Defining The Purpose
Урок 9. 00:03:47

Relational Storage Possibilities
Урок 10. 00:06:29

NoSQL Storage Possibilities
Урок 11. 00:03:50

Selecting The Tools
Урок 12. 00:03:06

Client
Урок 13. 00:01:19

Connect
Урок 14. 00:01:30

Buffer
Урок 15. 00:02:43

Process
Урок 16. 00:03:42

Store
Урок 17. 00:03:02

Visualize
Урок 18. 00:03:01

Data Ingestion Pipeline
Урок 19. 00:02:20

Stream To Raw Storage Pipeline
Урок 20. 00:03:10

Stream To DynamoDB Pipeline
Урок 21. 00:02:57

Visualization API Pipeline
Урок 22. 00:05:30

Visualization Redshift Data Warehouse Pipeline
Урок 23. 00:03:20

Batch Processing Pipeline
Урок 24. 00:01:59

Create An AWS Account
Урок 25. 00:02:46

Things To Keep In Mind
Урок 26. 00:04:08

IAM Identity & Access Management
Урок 27. 00:02:23

Logging
Урок 28. 00:02:58

AWS Python API Boto3
Урок 29. 00:04:03

Development Environment
Урок 30. 00:02:34

Create Lambda for API
Урок 31. 00:08:31

Create API Gateway
Урок 32. 00:01:39

Setup Kinesis
Урок 33. 00:05:01

Setup IAM for API
Урок 34. 00:06:10

Create Ingestion Pipeline (Code)
Урок 35. 00:05:47

Create Script to Send Data
Урок 36. 00:04:54

Test The Pipeline
Урок 37. 00:03:43

Setup S3 Bucket
Урок 38. 00:03:22

Configure IAM For S3
Урок 39. 00:07:17

Create Lambda For S3 Insert
Урок 40. 00:04:02

Test The Pipeline
Урок 41. 00:09:01

Setup DynamoDB
Урок 42. 00:03:37

Setup IAM For DynamoDB Stream
Урок 43. 00:09:21

Create DynamoDB Lambda
Урок 44. 00:06:11

Create API & Lambda For Access
Урок 45. 00:04:48

Test The API
Урок 46. 00:08:09

Setup Redshift Data Warehouse
Урок 47. 00:03:13

Security Group For Firehose
Урок 48. 00:05:52

Create Redshift Tables
Урок 49. 00:03:03

S3 Bucket & jsonpaths.json
Урок 50. 00:07:59

Configure Firehose
Урок 51. 00:07:44

Debug Redshift Streaming
Урок 52. 00:05:59

Bug-fixing
Урок 53. 00:12:17

Power Bi
Урок 54. 00:05:15

AWS Glue Basics
Урок 55. 00:13:10

Glue Crawlers
Урок 56. 00:13:44

Glue Jobs
Урок 57. 00:07:17

Redshift Insert & Debugging
Урок 58. 00:10:41

What We Achieved & Improvements

Автор - Andreas Kretz

Andreas Kretz

Я - старший инженер по данным и тренер, техноэнтузиаст и отец. Уже более десяти лет я увлечён Data Engineering. Сначала я стал инженером по данным самоучкой, а затем возглавил команду инженеров по данным в крупной компании. Когда я понял, насколько велика потребность в обучении в этой сфере, я последовал за своей страстью и основал собственную Академию Data Engineering. С тех пор я помог более чем 2 000 студентам достичь своих целей.

+22

Инженерия данных на AWS

Ограничение времени просмотра

Автор - Andreas Kretz

Andreas Kretz

Другие материалы в этой категории

Инженерия данных с использованием Databricks

Data Engineering

Инженерия данных на Azure

Инженерия данных на GCP

Буткемп по дата-инженерии: от нуля до мастера

Аналитическая инженерия для дата-профессионалов

Путь в Cloud Engineering: 5 реальных проектов на AWS