Супергид: Трансформеры и большие языковые модели

Книга «Супергид: Трансформеры и большие языковые модели» - это лаконичное и наглядное руководство для тех, кто хочет разобраться в устройстве больших языковых моделей, будь то для собеседований, проектов или собственного интереса.

Книга разделена на 5 частей:

1. Основы: введение в нейронные сети и ключевые концепции глубокого обучения для обучения и оценки моделей.
2. Встраивания: алгоритмы токенизации, векторизация слов (word2vec) и предложений (RNN, LSTM, GRU).
3. Трансформеры: мотивация использования механизма самовнимания, подробный обзор архитектуры «кодер-декодер» и её вариаций, таких как BERT, GPT и T5, а также советы по ускорению вычислений.
4. Большие языковые модели: основные методы настройки трансформеров, включая инженерное проектирование подсказок, тонкую настройку (включая параметрически эффективные методы) и настройку предпочтений.
5. Применение: рассмотрение популярных задач, включая извлечение настроений, машинный перевод, генерацию с использованием дополнительных данных и многое другое.

Эта книга поможет читателю глубже понять мир больших языковых моделей и научиться эффективно их использовать.