Большие языковые модели общего назначения по умолчанию не оптимизированы для конкретных отраслей и бизнес-задач. Используя такие методы, как специализированный fine-tuning, удаление лишних нейронных компонентов (pruning) и дистилляция знаний, можно переархитектурировать модели так, чтобы они работали быстрее, стоили дешевле в эксплуатации и давали более точные результаты.
Книга «Реархитектура LLM: структурные методы создания эффективных моделей» переводит идеи из новейших научных работ по искусственному интеллекту в практические подходы для оптимизации моделей под конкретные задачи. Работая с этой практической книгой, вы будете выполнять «хирургическую» настройку популярных open-source моделей — таких как Llama-3, Gemma и Qwen — чтобы создавать экономичные локальные малые языковые модели (SLM).
По мере изучения материала вы научитесь сочетать поведенческий анализ моделей со структурными изменениями архитектуры: выявлять и удалять компоненты, которые не вносят вклад в достижение целей модели, а также применять методы «fair pruning» для уменьшения предвзятости моделей на уровне отдельных нейронов.
Pere Martra — ML Research Engineer, специализирующийся на пост-обучении, сжатии и выравнивании (alignment) больших языковых моделей (LLM). Его работа направлена на сокращение разрыва между академическими исследованиями и инженерной практикой. Основная цель его исследований — создание специализированных малых языковых моделей (SLM), способных достигать высоких результатов при значительно меньших вычислительных ресурсах.В настоящее время он работае
