Локальные LLM: Ollama, LM Studio - курсы и уроки

Локальные LLM — открытые языковые модели (Llama, Qwen, Mistral, Gemma, DeepSeek и другие), запущенные на собственном компьютере или сервере без отправки данных в облако. Самые распространенные инструменты — Ollama, которая работает из командной строки и дает локальный API, и LM Studio, настольное приложение с графическим интерфейсом. Модели обычно скачивают в квантизованном формате GGUF, чтобы они помещались в память видеокарты или работали на процессоре. Локальный запуск выбирают ради приватности, предсказуемой стоимости и работы без интернета, а платят за это требованиями к железу и тем, что открытые модели обычно уступают крупным облачным в качестве.

Локальные модели решают задачи, где облачный API не подходит или неудобен. Компании с требованиями к конфиденциальности обрабатывают договоры, медицинские и финансовые документы, не передавая их внешнему поставщику. Разработчики используют локальные модели для экспериментов без оплаты за токены, офлайн-работы, автодополнения кода и тестирования приложений, которые потом будут работать с облачной моделью через совместимый API. Ограничения связаны с железом: размер модели определяется объемом видеопамяти, на процессоре генерация заметно медленнее, а квантизация экономит память ценой части качества. В сложных рассуждениях и на длинном контексте небольшие открытые модели часто уступают облачным, поэтому многие команды сочетают оба варианта.