Чтобы запустить нейросеть на своём компьютере, нужны программа вроде Ollama, LM Studio или llama.cpp и достаточно памяти: модель должна целиком поместиться в видеопамять или общую память Mac. В 4 битах на миллиард параметров уходит около 0,6 ГБ, поэтому видеокарта на 8 ГБ тянет модели до 8–9 млрд параметров, а на 24–32 ГБ — до 32 млрд.
Сколько памяти нужно модели
| Размер модели | Пример | 4 бита | 8 бит | На чём запустить |
|---|---|---|---|---|
| До 1 млрд | LFM2.5-230M | Меньше 0,5 ГБ | Меньше 1 ГБ | Телефон, Raspberry Pi |
| 8–9 млрд | Qwen3.5-9B | Около 6 ГБ | Около 10 ГБ | Видеокарта на 8 ГБ, Mac с 16 ГБ |
| 27–32 млрд | Qwen3.8-27B | 17–21 ГБ | 30–35 ГБ | Видеокарта на 24–32 ГБ, Mac с 32 ГБ |
| 70 млрд | Плотные модели на 70 млрд | Около 43 ГБ | Около 75 ГБ | Две видеокарты по 24–32 ГБ, Mac или DGX Spark на 64–128 ГБ |
| 100–250 млрд, MoE | Hy4 flash | 70–150 ГБ | 130–290 ГБ | DGX Spark, Mac Studio или Ryzen AI Max+ от 128 ГБ |
| 500–800 млрд, MoE | Hy4, GLM-5.3 | 330–470 ГБ | 550–800 ГБ | Сервер с 8 GPU или API |
Оценка редакции для весов: 4 бита — около 0,6 ГБ на миллиард параметров, 8 бит — около 1,05 ГБ. Под контекст нужно ещё 10–30%, на длинных диалогах — больше. Данные на 21 ноября 2026 года.
Чем запускать модели
- Ollama и LM Studio — самый быстрый старт: модель скачивается одной командой или кнопкой, обе программы работают на Windows, macOS и Linux.
- llama.cpp — движок, на котором построены многие такие программы. В версии 1.0.0 появились стабильный API и формат FP8 для кеша контекста, а эксперты MoE-моделей могут лежать в оперативной памяти, пока часто нужные держатся в видеопамяти.
- MLX — фреймворк Apple для Mac на чипах M-серии.
- vLLM и SGLang — для серверов и многих пользователей сразу: так разработчики советуют запускать большие модели вроде Hy4.
Какое железо выбрать
Видеокарта NVIDIA — самый простой путь: PyTorch, vLLM и llama.cpp в первую очередь разрабатывают под CUDA. Смотрите на объём памяти, а не на скорость; подробный разбор — в гиде «Видеокарта для нейросетей».
Mac и компьютеры с общей памятью — NVIDIA DGX Spark, системы на AMD Ryzen AI Max+ и Mac Studio — вмещают 128–512 ГБ, то есть модели на сотни миллиардов параметров. Зато генерируют они медленнее: пропускная способность памяти у них ниже, чем у видеокарт.
Аренда вместо покупки. В 2026 году видеокарты подорожали из-за дефицита памяти: RTX 5090 с рекомендованной ценой $1999 во второй половине года продавалась за $4000–9000. В облаке RTX 4090 или 5090 стоит $0,30–1,20 в час, H100 — $2–12 в зависимости от провайдера: для разовых больших задач это дешевле покупки.
Сколько качества теряет квантизация
4 бита — разумный стандарт. У Inkling 2 Mini 4-битная версия на 16,6 ГБ в 97,9% случаев выбирает тот же следующий токен, что и 8-битная на 22,9 ГБ. Ниже 4 бит обычное сжатие ломает модель: текст выглядит гладким, но рассуждения противоречат себе, а вызовы инструментов перестают работать. Исключение — модели, которые специально готовили к низкой разрядности: Bonsai 27B с 1-битными весами сохраняет 90–95% качества исходной модели и запускается на смартфоне. Какие модели стоит запускать, смотрите в разделе «Открытые LLM».