Чтобы запустить нейросеть на своём компьютере, нужны программа вроде Ollama, LM Studio или llama.cpp и достаточно памяти: модель должна целиком поместиться в видеопамять или общую память Mac. В 4 битах на миллиард параметров уходит около 0,6 ГБ, поэтому видеокарта на 8 ГБ тянет модели до 8–9 млрд параметров, а на 24–32 ГБ — до 32 млрд.

Сколько памяти нужно модели

Размер модели Пример 4 бита 8 бит На чём запустить
До 1 млрд LFM2.5-230M Меньше 0,5 ГБ Меньше 1 ГБ Телефон, Raspberry Pi
8–9 млрд Qwen3.5-9B Около 6 ГБ Около 10 ГБ Видеокарта на 8 ГБ, Mac с 16 ГБ
27–32 млрд Qwen3.8-27B 17–21 ГБ 30–35 ГБ Видеокарта на 24–32 ГБ, Mac с 32 ГБ
70 млрд Плотные модели на 70 млрд Около 43 ГБ Около 75 ГБ Две видеокарты по 24–32 ГБ, Mac или DGX Spark на 64–128 ГБ
100–250 млрд, MoE Hy4 flash 70–150 ГБ 130–290 ГБ DGX Spark, Mac Studio или Ryzen AI Max+ от 128 ГБ
500–800 млрд, MoE Hy4, GLM-5.3 330–470 ГБ 550–800 ГБ Сервер с 8 GPU или API

Оценка редакции для весов: 4 бита — около 0,6 ГБ на миллиард параметров, 8 бит — около 1,05 ГБ. Под контекст нужно ещё 10–30%, на длинных диалогах — больше. Данные на 21 ноября 2026 года.

Чем запускать модели

  • Ollama и LM Studio — самый быстрый старт: модель скачивается одной командой или кнопкой, обе программы работают на Windows, macOS и Linux.
  • llama.cpp — движок, на котором построены многие такие программы. В версии 1.0.0 появились стабильный API и формат FP8 для кеша контекста, а эксперты MoE-моделей могут лежать в оперативной памяти, пока часто нужные держатся в видеопамяти.
  • MLX — фреймворк Apple для Mac на чипах M-серии.
  • vLLM и SGLang — для серверов и многих пользователей сразу: так разработчики советуют запускать большие модели вроде Hy4.

Какое железо выбрать

Видеокарта NVIDIA — самый простой путь: PyTorch, vLLM и llama.cpp в первую очередь разрабатывают под CUDA. Смотрите на объём памяти, а не на скорость; подробный разбор — в гиде «Видеокарта для нейросетей».

Mac и компьютеры с общей памятью — NVIDIA DGX Spark, системы на AMD Ryzen AI Max+ и Mac Studio — вмещают 128–512 ГБ, то есть модели на сотни миллиардов параметров. Зато генерируют они медленнее: пропускная способность памяти у них ниже, чем у видеокарт.

Аренда вместо покупки. В 2026 году видеокарты подорожали из-за дефицита памяти: RTX 5090 с рекомендованной ценой $1999 во второй половине года продавалась за $4000–9000. В облаке RTX 4090 или 5090 стоит $0,30–1,20 в час, H100 — $2–12 в зависимости от провайдера: для разовых больших задач это дешевле покупки.

Сколько качества теряет квантизация

4 бита — разумный стандарт. У Inkling 2 Mini 4-битная версия на 16,6 ГБ в 97,9% случаев выбирает тот же следующий токен, что и 8-битная на 22,9 ГБ. Ниже 4 бит обычное сжатие ломает модель: текст выглядит гладким, но рассуждения противоречат себе, а вызовы инструментов перестают работать. Исключение — модели, которые специально готовили к низкой разрядности: Bonsai 27B с 1-битными весами сохраняет 90–95% качества исходной модели и запускается на смартфоне. Какие модели стоит запускать, смотрите в разделе «Открытые LLM».

С чего начать

Материалы, после которых тема станет понятной

Лучшее по теме

Новое в теме

Локальные модели

На CES 2025 Nvidia представила серию GPU RTX 50 и микросервисы NIM для локального запуска ИИ-пайплайнов

Nvidia анонсировала крупное обновление на выставке CES 2025, включающее новые графические процессоры RTX 50 и микросервисами NIM для локального развертывания крупных моделей от…

Новинки нейросетей в Telegram

Другие темы