Question 1

Какие задачи решают большие языковые модели?

Accepted Answer

LLM хорошо работают с любым текстом: пишут и редактируют тексты, переводят, суммируют длинные документы, отвечают на вопросы по переданному контексту. Они классифицируют обращения и извлекают данные из писем, договоров и счетов в структурированный формат, например JSON. Модели пишут и объясняют код, составляют SQL-запросы, помогают разбирать логи. Многие модели также работают с изображениями: читают скриншоты, таблицы и сканы. Отдельный класс задач — вызов инструментов, когда модель решает, какую функцию программы вызвать и с какими параметрами. На этом строятся ассистенты и агенты.

Question 2

В каких задачах LLM справляются хорошо, а где ошибаются?

Accepted Answer

Модели сильны там, где важен язык и допустима проверка человеком: черновики текстов, перевод, суммаризация, извлечение данных из неструктурированных документов, генерация кода с тестами. Слабые места — точные вычисления, подсчеты, задачи на строгую логику с большим числом шагов и факты, которых нет в контексте: модель может их выдумать. Она не знает событий после окончания обучения и может по-разному ответить на один вопрос. Поэтому для критичных решений ответы модели проверяют программно или вручную, а нужные факты передают в контексте и не полагаются на память модели.

Question 3

Чем базовая модель отличается от инструктивной?

Accepted Answer

Базовая модель обучена только предсказывать следующий токен на большом объеме текста. Она продолжает текст, а не выполняет просьбы: на вопрос может ответить списком похожих вопросов. Инструктивная модель прошла дополнительное обучение на примерах диалогов и инструкций, а также обучение с учетом предпочтений людей, поэтому следует указаниям, держит формат и отказывается от вредных запросов. В чатах и через API почти всегда используют инструктивные версии. Базовые модели нужны в основном исследователям и тем, кто дообучает модель под свою задачу и хочет полностью контролировать ее поведение.

Question 4

Что нужно знать, чтобы начать работать с LLM осознанно?

Accepted Answer

Для использования через API достаточно базового программирования на Python или JavaScript и понимания нескольких понятий: токен, контекстное окно, температура, системный промпт, структурированный вывод. Полезно на практике сравнить ответы нескольких моделей на одних и тех же задачах. Чтобы понять устройство моделей глубже, нужны основы линейной алгебры и теории вероятностей, знакомство с нейросетями и PyTorch, затем архитектура трансформера и механизм внимания. Для дообучения добавляются навыки подготовки данных и знакомство с методами вроде LoRA, которые позволяют дообучать модели на одной видеокарте.

Question 5

Кто работает с языковыми моделями и в каких ролях?

Accepted Answer

С LLM работают очень разные специалисты. Разработчики и AI-инженеры встраивают модели в продукты через API. ML-инженеры и исследователи дообучают модели, оценивают их и оптимизируют инференс. Дата-аналитики используют модели для разметки и разбора текстовых данных. Специалисты по промптам и контенту настраивают поведение ассистентов и проверяют качество ответов. Внутри компаний языковые модели применяют в поддержке, обработке документов, маркетинге, внутреннем поиске и разработке. Даже если человек не обучает модели сам, понимание их устройства помогает ставить задачи реалистично и замечать ошибки.

LLM (большие языковые модели): Список курсов

LLM Driven Development. Разработка и эксплуатация AI

Промт-инжиниринг для разработчиков

Учись на практике. Стань инженером ИИ

Основы LLM за 10 часов

Кастомизация больших языковых моделей для бизнеса: практический курс по QLoRA и AWS

Основы Prompt-инжиниринга

Open Source AI с Python & Hugging Face

Осваиваем и строим большие языковые модели

AI-инжиниринг: тонкая настройка LLM

Курс AI-инженерии