Garlic LLM: Qwen3.5-9B запустили на взломанной PS4 без интернета со скоростью около 35 токенов в секунду

garlic llm

Разработчик Леонардо Алегрия представил Garlic LLM — неофициальный проект с открытым кодом, который позволяет запускать крупную языковую модель Qwen3.5-9B от Alibaba непосредственно на графическом чипе взломанной консоли PlayStation 4. Система работает полностью автономно, без подключения к персональному компьютеру или интернету. Помимо текстового чата, в проект встроены офлайн-распознавание речи и синтез голоса. А ещё модель умеет писать небольшие скрипты на Python, и консоль тут же их запускает — кнопкой R1 на геймпаде.

В текстовом режиме модель выдаёт от 31 до 39 токенов в секунду, а при генерации кода показатель достигает 43 токенов в секунду. Та же Qwen3.5-9B на ноутбучной видеокарте GeForce RTX 3070 Ti с 8 ГБ памяти в тесте блога Architecture & Performance генерировала 60 токенов в секунду, а на нейроускорителе (NPU) платы с процессором Rockchip RK3588 — 3,2 токена, сообщает Qengineering.

Код открыт на GitHub, модели (около 5,7 ГБ) доступны на Hugging Face.

Как запустить нейросеть без привычных ML-библиотек

Sony не предоставляет неофициальным программам на PS4 инструментов для использования видеочипа в задачах, не связанных с играми, и не поддерживает привычные библиотеки для машинного обучения. По данным Tom’s Hardware, для самодельных приложений на консоли вообще нет драйверного слоя. Чтобы обойти это ограничение, автору пришлось выстроить работу модели на самом низком уровне:

  • Команды напрямую видеочипу. Всю математику нейросети (умножение матриц, механизм внимания, нормализацию) автор написал с нуля на языке OpenCL C. Затем с помощью набора инструментов для компиляции LLVM перевёл её в машинный код для графической архитектуры AMD GCN, на которой работает чип консоли.
  • Обход графического драйвера. Приложение само формирует низкоуровневые пакеты команд (PM4) и отправляет их прямо в GPU, минуя графический драйвер операционной системы PS4.
  • Комбинированное сжатие (квантизация) модели. Чтобы нейросеть поместилась в скромную по современным меркам память консоли, разработчик сжал её веса неравномерно:
    • Большая часть параметров хранится в 4-битном формате (Q4).
    • Две самые тяжелые матрицы в каждом слое (проекции gate и up) ужаты сильнее — до 3 бит (Q3). По словам автора, если бы вся модель осталась в 4 битах, ей не хватило бы около 384 МБ памяти.
  • Сжатие памяти диалога (KV-кэша). Временная память, где модель хранит контекст беседы, тоже сжата до 4 бит. Это позволило сохранить окно контекста в 16 тысяч токенов, хотя полная версия Qwen3.5-9B удерживает до 262 144 токенов.

Своё название проект получил в честь Garlic — так в архитектуре PS4 называется специальный участок общей памяти, к которому видеочип имеет прямой и максимально быстрый доступ. Согласно описанию на GitHub, сами веса модели занимают 4,32 ГиБ, ещё 0,20 ГиБ отведено под модуль многотокенного предсказания (MTP). Он позволяет модели предсказывать сразу до двух следующих токенов за один проход, что заметно ускоряет генерацию ответа.

Сравнение производительности: PS4 против ПК и встраиваемого железа

Много это или мало? Взрослый человек читает про себя в среднем 238 английских слов в минуту, показал метаанализ психолога Марка Брисбарта, — это около 5 токенов в секунду (расчёт редакции). Инфраструктурная компания Baseten считает нормой для чат-ботов от 30 токенов в секунду, так что для переписки скорости консоли хватает: текст появляется в несколько раз быстрее, чем его успеваешь прочитать. Облачным моделям PS4 всё же уступает в разы: сервис Requesty намерил в своём трафике у Claude Sonnet 5.5 200 токенов в секунду, у Gemini 4 Argon — 84, у GPT-6.1 Sol — 71. На длинных ответах разница заметна: ответ в 1000 токенов PS4 печатает почти полминуты, а Sonnet 5.5 — около пяти секунд.

Устройство и конфигурация Метод запуска и квантование Скорость генерации
PS4 (Garlic LLM) — Текстовый чат Кастомные ядра GCN, веса Q4/Q3, спекулятивное декодирование MTP 35 токенов/с (диапазон 31–39)
PS4 (Garlic LLM) — Голосовой режим То же, но память MTP перераспределена под голосовой движок 22 токена/с
Ноутбук с GeForce RTX 3070 Ti (8 ГБ) llama.cpp, формат UD-Q4_K_XL от Unsloth (5,32 бита на вес) 60 токенов/с
Плата Rockchip RK3588 (с NPU) RKLLM, веса и активации в 8 битах (W8A8) 3,2 токена/с

(Источник данных: репозиторий Garlic LLM на GitHub, тесты Architecture & Performance и Qengineering).

Qwen3.5-9B на PS4 и другом железе, скорость генерации: ноутбучная GeForce RTX 3070 Ti, 8 ГБ — 60 токенов/с; PS4, Garlic LLM, текстовый чат — 35 токенов/с; PS4, Garlic LLM, голосовой режим — 22 токена/с; плата с Rockchip RK3588, NPU — 3,2 токена/с
Qwen3.5-9B на PS4 и другом железе: скорость генерации. Данные: Garlic LLM, Architecture & Performance, Qengineering. Для PS4 в чате — середина диапазона 31–39 токенов/с, которую указывает автор; замеры сделаны разными людьми в разных условиях.

Ключевые выводы по замерам:

  • Эффективность железа. PS4 работает примерно в 11 раз быстрее специализированной платы с нейроускорителем (на примере RK3588). Отчасти это объясняется тем, что 8-битный формат W8A8 требует обработки вдвое больше данных, чем 4-битные веса консоли. От дискретной мобильной видеокарты RTX 3070 Ti консоль отстаёт всего в 1,7 раза (35 против 60 токенов/с).
  • Вклад предсказания нескольких токенов (MTP). В голосовом режиме память, выделенная под MTP, переиспользуется голосовыми моделями, и скорость падает с ~35 до 22 токенов/с. Это показывает, что MTP ускоряет генерацию примерно в 1,4–1,8 раза.

Голос и экосистема

  • Голосовой режим. Речь распознаёт модель Parakeet TDT 0.6B v3, а озвучивает ответы движок Chatterbox. Поддерживаются 7 языков, включая русский.
  • Системные требования. Требуется консоль с кастомной прошивкой и активированным эксплойтом GoldHEN. Разработчик тестировал систему на базовой PS4 и PS4 Slim (прошивка 11.52), но пользователи подтверждают стабильную работу и на PS4 Pro (скорость 25–45 токенов/с).
  • Возможности самой модели. В официальных тестах Alibaba исходная Qwen3.5-9B набирает 82,5 балла в академическом бенчмарке MMLU-Pro. Это выше, чем у GPT-OSS-120B (80,8) и GPT-OSS-20B (74,8). В генерации кода (LiveCodeBench v6) у неё 65,6 балла, а у GPT-OSS-20B 74,6 и у GPT-OSS-120B 82,7. Эти цифры относятся к полноразмерной модели, а не к её 3–4-битной версии для консоли.

Что дальше: API для домашней сети

В планах разработчика — добавить в следующий релиз API, совместимый с OpenAI. Тогда взломанную PS4 можно будет превратить в локальный сервер для запуска модели, к которому смогут обращаться другие устройства в домашней сети. Ограничения: запросы будут обрабатываться по одному, а вызов внешних инструментов (Tool Calling) поддерживаться не будет.


neurohive telegram
Подписаться
Уведомить о
guest

0 Comments
Старые
Новые Популярные