Главная страница Категория aws Кастомизация больших языковых моделей для бизнеса: практический курс по QLoRA и AWS

Кастомизация больших языковых моделей для бизнеса: практический курс по QLoRA и AWS

AI Engineering: Customizing LLMs for Business (Fine-Tuning LLMs with QLoRA & AWS)

zerotomastery.io

Начать Сейчас

Продолжительность

7 ч 12 мин

Категория

AWS

Количество уроков

58 Видео

Дата добавления

31 авг. 2025 г., 01:48

Язык

Английский

Дата выхода

29 авг. 2025 г., 01:00

Освойте востребованный навык, которого ждут компании: разработку и внедрение кастомных LLM. На курсе вы научитесь дообучать открытые большие языковые модели на закрытых/корпоративных данных и развертывать свои модели с помощью AWS (SageMaker, Lambda, API Gateway) и Streamlit для удобного интерфейса для сотрудников и клиентов.

Это не «очередной вводный курс по ИИ». Это практический глубокий дайв в навыки, которые отличают AI-инженеров на реальных проектах. Вы будете выполнять fine-tuning с использованием QLoRA - подхода, который радикально снижает потребление ресурсов, - а затем превращать модель в продакшен-сервис.

Что вы освоите:

Дообучение open-source LLM на собственных датасетах (в т.ч. корпоративных).
Практику с QLoRA, bfloat16-тренировкой, chunking датасетов, attention masks.
Экосистему Hugging Face (включая Estimator API) и MLOps-пайплайн на AWS.
Деплой и интеграцию модели: SageMaker endpoints, Lambda, API Gateway, мониторинг.
Создание простого UI для бизнеса на Streamlit.

Результат: от теории к коду и продакшену - полный цикл разработки прикладного ИИ под бизнес-кейсы.

Кому полезно и для каких ролей готовит:

AI Engineer / ML Engineer - проектирование, дообучение и продакшен моделей.
AI Specialist - создание прикладных решений на базе ИИ.
Data Scientist - подготовка данных, EDA и построение моделей под задачи компании.
AI Research Scientist - углублённая работа с механизмами внимания и LLM.
Cloud Engineer - архитектура и лучшие практики деплоя в AWS.
DevOps Engineer - автоматизация, выпуск и мониторинг ML-сервисов (CloudWatch и др.).
Software Engineer - интеграция моделей в приложения с учётом масштабируемости.
Data Engineer - пайплайны данных, хранилища (S3), препроцессинг.
Technical Product Manager - планирование и выпуск ML-продуктов, метрики и мониторинг.

Если хотите поймать «волну ИИ», кастомизация LLM под задачи бизнеса - отличная точка входа и роста.

Посмотреть больше

Это пробный урок. Оформите подписку, чтобы получить доступ ко всем материалам курса. Премиум

Урок 1. 00:05:20

Course Introduction (What We're Building)
Урок 2. 00:04:31

Signing in to AWS
Урок 3. 00:05:30

Creating an IAM User
Урок 4. 00:03:13

Using our new IAM User
Урок 5. 00:01:31

What To Do In Case You Get Hacked!
Урок 6. 00:02:29

Creating a SageMaker Domain
Урок 7. 00:04:54

Logging in to our SageMaker Environment
Урок 8. 00:07:38

Introduction to JupyterLab
Урок 9. 00:07:51

Sagemaker Sessions, Regions, and IAM Roles
Урок 10. 00:13:30

Examining Our Dataset from HuggingFace
Урок 11. 00:09:09

Tokenization and Word Embeddings
Урок 12. 00:04:22

HuggingFace Authentication with Sagemaker
Урок 13. 00:08:44

Applying the Templating Function to our Dataset
Урок 14. 00:15:56

Attention Masks and Padding
Урок 15. 00:04:04

Star Unpacking with Python
Урок 16. 00:10:23

Chain Iterator, List Constructor and Attention Mask example with Python
Урок 17. 00:08:12

Understanding Batching
Урок 18. 00:07:32

Slicing and Chunking our Dataset
Урок 19. 00:16:07

Creating our Custom Chunking Function
Урок 20. 00:09:31

Tokenizing our Dataset
Урок 21. 00:04:31

Running our Chunking Function
Урок 22. 00:08:33

Understanding the Entire Chunking Process
Урок 23. 00:05:54

Uploading the Training Data to AWS S3
Урок 24. 00:06:48

Setting Up Hyperparameters for the Training Job
Урок 25. 00:06:46

Creating our HuggingFace Estimator in Sagemaker
Урок 26. 00:08:12

Introduction to Low-rank adaptation (LoRA)
Урок 27. 00:10:56

LoRA Numerical Example
Урок 28. 00:09:09

LoRA Summarization and Cost Saving Calculation
Урок 29. 00:04:46

(Optional) Matrix Multiplication Refresher
Урок 30. 00:12:33

Understanding LoRA Programatically Part 1
Урок 31. 00:05:49

Understanding LoRA Programatically Part 2
Урок 32. 00:08:11

Bfloat16 vs Float32
Урок 33. 00:06:33

Comparing Bfloat16 Vs Float32 Programatically
Урок 34. 00:07:20

Setting up Imports and Libraries for the Train Script
Урок 35. 00:07:57

Argument Parsing Function Part 1
Урок 36. 00:10:55

Argument Parsing Function Part 2
Урок 37. 00:14:31

Understanding Trainable Parameters Caveats
Урок 38. 00:07:36

Introduction to Quantization
Урок 39. 00:07:20

Identifying Trainable Layers for LoRA
Урок 40. 00:04:36

Setting up Parameter Efficient Fine Tuning
Урок 41. 00:10:35

Implement LoRA Configuration and Mixed Precision Training
Урок 42. 00:04:22

Understanding Double Quantization
Урок 43. 00:14:15

Creating the Training Function Part 1
Урок 44. 00:07:17

Creating the Training Function Part 2
Урок 45. 00:02:57

Exercise: Imposter Syndrome
Урок 46. 00:05:09

Finishing our Sagemaker Script
Урок 47. 00:05:11

Gaining Access to Powerful GPUs with AWS Quotas
Урок 48. 00:03:55

Final Fixes Before Training
Урок 49. 00:07:16

Starting our Training Job
Урок 50. 00:11:24

Inspecting the Results of our Training Job and Monitoring with Cloudwatch
Урок 51. 00:17:58

Deploying our LLM to a Sagemaker Endpoint
Урок 52. 00:08:19

Testing our LLM in Sagemaker Locally
Урок 53. 00:08:56

Creating the Lambda Function to Invoke our Endpoint
Урок 54. 00:02:37

Creating API Gateway to Deploy the Model Through the Internet
Урок 55. 00:05:12

Implementing our Streamlit App
Урок 56. 00:03:27

Streamlit App Correction
Урок 57. 00:02:39

Congratulations and Cleaning up AWS Resources
Урок 58. 00:01:18

Thank You!

https://github.com/patrikszepesi/qlora-course

Автор - zerotomastery.io

zerotomastery.io

Независимо от того, начинаете ли вы изучать программирование или хотите усовершенствовать свои навыки, Академия Zero To Mastery научит вас React, Javascript, Python, CSS и многим другим вещам, чтобы помочь вам продвинуться по карьерной лестнице, получить работу и добиться успеха в некоторых ведущих компаниях.