На Hugging Face вышла llama.cpp 1.0.0 — первая стабильная версия приложения для локального запуска моделей. Новый API позволит понять, может ли обновление сломать работу приложения, по номеру версии. Теперь несовместимые изменения API и ABI будут отмечаться повышением первой цифры версии: например, переходом с 1.0.0 на 2.0.0. Вторая цифра обозначает совместимые дополнения, третья — исправления ошибок без изменения API. Это поможет заранее подготовить и протестировать нужные изменения, снизив риск того, что после обновления ИИ-чат или другой сервис перестанет работать у пользователей. Такая схема называется semver. Так разработчикам проще планировать обновления и заранее готовить исправления. Нумерация существовала и до 1.0.0, этот релиз закрепляет обязательства по совместимости.
В новой версии также добавили более компактное хранение промежуточных вычислений, новые возможности озвучивания текста и дополнительную защиту сервера. Вместе с llama.cpp обновился ggml — компонент, выполняющий математические вычисления. Проекты предоставляют две библиотеки: libllama и libggml.
При этом сам переход на 1.0.0 может потребовать изменений. Команда удалила 35 устаревших функций и отдельно — функцию настройки «прогрева» модели, то есть подготовительных вычислений. Также перестроена часть кода для изображений и звука: её объединили в одном компоненте. Приложения, которые использовали затронутые возможности, потребуется адаптировать под эти изменения.
Что изменилось в работе с памятью и моделями
Для KV-кеша добавили формат FP8. Также доработали запуск MoE-моделей: их основные данные могут храниться в оперативной памяти, а часто используемые — дополнительно в памяти видеокарты. Если нужного эксперта там нет, после заполнения кеша часть вычислений можно поручать CPU вместо передачи данных на GPU. Это может ускорить работу, но результат зависит от оборудования и настроек.
В список поддерживаемых моделей вошли Kimi-K3.1-Pro, Ripple-65B-Preview и xing4_0 для текста, drama-3 для генерации речи, а также MageVL-Cowork и Kimi-K3.1 для обработки изображений. Всего, по данным команды, инструмент поддерживает более 150 архитектур.
Голосовые функции и защита сервера
В проект входит llama-server, которая принимает запросы от браузера или приложения и передаёт их модели. В ней появился OpenAI-совместимый способ запрашивать озвучивание текста. Это упрощает подключение локальной генерации речи к приложениям, уже использующим такой формат запросов.
В браузерном интерфейсе добавлены группы чатов, предпросмотр оформления сообщений и улучшенное отображение на телефонах.
Усилена и защита доступа к домашней или рабочей сети. Запуск инструментов на сервере, доступном с других устройств без API-ключа, теперь требует отдельного разрешения. Для загрузки изображений и других медиа из внутренней сети тоже нужно явное разрешение.
Ключ доступа к Hugging Face больше не передаётся автоматически на произвольные адреса загрузки моделей. По умолчанию он отправляется только на huggingface.co; другой доверенный адрес можно задать вручную.
Где доступно обновление
Разработчики перечисляют восемь каналов распространения — от готовых файлов на GitHub до каталогов установки программ и наборов для приложений Apple. Наличие версии 1.0.0 в каждом из них нужно проверять отдельно.
Как отметил участник сообщества операционной системы Debian, предсказуемая совместимость упрощает распространение llama.cpp. В официальных выпусках также согласованы версии llama.cpp и ggml, чтобы их можно было использовать вместе при раздельной установке.
Как проект пришёл к версии 1.0.0
История кода llama.cpp началась 10 марта 2023 года, ещё до выхода Llama 2. В феврале 2026 года команда GGML во главе с Георгием Гергановым присоединилась к Hugging Face. 7 августа разработчики начали обсуждать правила версий. Затем вышел релиз v0.1.0 и предварительный выпуск v0.1.2, а 4 ноября — версия v0.9.0.
Практическая польза
Для авторов ИИ-приложений версия 1.0.0 делает обновления более предсказуемыми и упрощает добавление новых моделей и голосовых функций. Пользователям она даёт возможности экономнее расходовать память и дополнительные настройки защиты. Эти улучшения появятся в готовых приложениях по мере их обновления разработчиками. При этом релиз не гарантирует ускорения любой модели: общего сравнения производительности с прошлой версией команда не опубликовала.
Другие проекты с открытым исходным кодом — в разделе Open source.
