Super Study Guide: Transformers & Large Language Models
Книга «Супергид: Трансформеры и большие языковые модели» - это лаконичное и наглядное руководство для тех, кто стремится разобраться в устройстве больших языковых моделей, будь то для собеседований, проектов или собственного интереса.
Книга разделена на 5 ключевых частей, каждая из которых сосредоточена на специфических аспектах языковых моделей:
В этом разделе представлено введение в нейронные сети и ключевые концепции глубокого обучения, которые необходимы для обучения и оценки моделей.
Здесь рассматриваются алгоритмы токенизации и методы векторизации как для слов, так и для предложений, включая такие техники, как word2vec, RNN, LSTM и GRU.
Раздел посвящен мотивации использования механизма самовнимания, а также предоставляет подробный обзор архитектуры «кодер-декодер» и её вариаций, включая BERT, GPT и T5. Также изложены советы по ускорению вычислений.
Здесь обсуждаются основные методы настройки трансформеров, такие как инженерное проектирование подсказок, тонкая настройка (включая параметрически эффективные методы) и настройка предпочтений.
В этом разделе рассматриваются популярные задачи, такие как извлечение настроений, машинный перевод и генерация текста с использованием дополнительных данных, а также многое другое.
Эта книга содействует глубокому пониманию мира больших языковых моделей и обучает эффективному их использованию в различных контекстах.
Афшин Амиди - преподаватель воркшопа по трансформерам и большим языковым моделям в Стэнфорде, а также руководитель проектов, связанных с большими языковыми моделями, в Netflix. Ранее он работал в команде Gemini в Google, применяя методы обработки естественного языка для решения сложных запросов. До этого Афшин занимался улучшением систем поиска и рекомендаций в Uber Eats. Помимо основной деятельности, он опубликовал несколько научных статей на пе
Шервин Амиди - преподаватель воркшопа по трансформерам и большим языковым моделям в Стэнфорде, а также член команды Gemini в Google, где он использует большие языковые модели для обработки запросов на основе действий. Ранее Шервин занимался прикладными задачами машинного обучения для рекомендательных систем в Uber Eats, сосредотачиваясь на обучении представлений для улучшения рекомендаций блюд. Помимо этого, он опубликовал несколько научных стате
Thank you