
Thinking Machines Lab выпустила Inkling 2 Mini — открытую модель, которая понимает текст и изображения, отвечает текстом и помещается в память ноутбука: веса занимают около 20 ГБ. Она рассчитана на агентные задачи: программирование, поиск с инструментами и работу с документами, в том числе на своём компьютере. На бенчмарке SWE-bench Verified Inkling 2 Mini, по данным разработчика, решает 79,2% задач, Qwen3.8-27B — 77,8%, Gemma 4 31B — 46,1%; на DeepSWE v1.1 разрыв больше: 48,2% против 42,2% у Qwen3.8-27B.
По данным Artificial Analysis, которые приводит OpenRouter, Inkling 2 Mini набирает в индексе интеллекта 20,1 балла — столько же, сколько Qwen3.8-27B. Но Qwen3.8-27B — плотная модель и на каждый токен задействует все 27 млрд параметров, а Inkling 2 Mini с учётом повторных проходов — 5,4 млрд. За этим стоят смесь экспертов и зацикленные слои.
Что нового в Inkling 2 Mini
Главное нововведение — зацикленная архитектура (looped transformer). Обычный трансформер пропускает каждый токен через стопку слоёв один раз, а Inkling 2 Mini прогоняет средние слои трижды. Модель больше «думает» внутри, не расписывая рассуждение текстом, и, по словам разработчика, приходит к ответу за меньшее число токенов — особенно в агентном программировании.
Второе — числовой формат. Большую часть весов обучали и выложили в 4-битном формате NVFP4, последние четыре слоя — в 8-битном MXFP8. Модель не пережимали после обучения, поэтому, как подчёркивает разработчик, потерь от квантизации нет.
Третье — компания выложила исследовательскую версию TML-d24-varloop-research, обученную работать с числом проходов от одного до пяти. На ней проверили риск, который несут зацикленные слои: модель может рассуждать «про себя», и наблюдатель, читающий цепочку рассуждений, этого не увидит. С пятью проходами рассуждения стали более чем вдвое короче, чем с одним, — в среднем 1661 токен против 3703, — но остались столь же читаемыми.
Как устроена модель
В модели 24 слоя в четырёх блоках по шесть. Первый и последний блоки работают один раз, два средних — трижды с общими весами, так что на токен приходится 48 проходов через слой. По карточке модели, слои построены как смесь из 128 экспертов, каждый токен уходит к восьми из них, контекст — до 1 млн токенов. В каждом блоке, как описывает Hugging Face, пять слоёв видят окно из 1024 последних токенов и один — весь контекст.
Экспертов поначалу было 384. В середине обучения компания удалила две трети, оставив в каждом слое 128 самых востребованных, и вернула качество, дообучив модель на 1 трлн токенов, полученных дистилляцией из более крупной внутренней Inkling. Обучение с подкреплением заняло ещё 2,2 трлн токенов. Зацикливание, по расчётам компании, окупается: в опыте с версиями без удаления экспертов модель без зацикленных слоёв обучалась на 7,5% дешевле, но для той же величины ошибки на агентных сценариях длиной 512 тыс. токенов требовала на 140% больше вычислений при генерации.
Inkling 2 Mini среди открытых моделей
Thinking Machines сравнивает модель с открытыми моделями: плотными Qwen3.8-27B и Gemma 4 31B близкого размера и Nemotron 3.5 Super VL, у которой параметров почти впятеро больше. Независимый индекс Artificial Analysis показывает ничью с Qwen3.8-27B, причём Qwen набирает свои 20,1 балла только на уровне рассуждений Xhigh, а на Medium — 17,5.
| Показатель | Inkling 2 Mini | Qwen3.8-27B | Nemotron 3.5 Super VL | Gemma 4 31B |
|---|---|---|---|---|
| Параметры: активные / всего, млрд | 5,4 / 26,4 | 27 / 27 | 12 / 124,5 | 30,7 / 30,7 |
| Индекс Artificial Analysis v5.0, баллы | 20,1 | 20,1 | 13,6 | 4,4 |
| SWE-bench Verified, % | 79,2 | 77,8 | 71,1 | 46,1 |
| DeepSWE v1.1, % | 48,2 | 42,2 | 24,7 | 0,3 |
| Terminal Bench v2.1, % | 71,6 | 73,0 | 60,7 | 43,4 |
| BrowseComp, % | 79,0 | 61,6 | 78,9 | 37,0 |
| AutomationBench-AA, % | 41,8 | 48,2 | 14,8 | 4,9 |
| AA-Omniscience: ответы без галлюцинаций, % | 63,4 | 71,4 | 69,5 | 14,5 |
Данные Thinking Machines; активные параметры Inkling 2 Mini — с учётом трёх проходов, без них — 3,4 млрд.
Где модель пригодится и где проигрывает
Сильные стороны Inkling 2 Mini — долгая агентная работа, поиск и длинные документы. В агентном поиске BrowseComp она набирает 79,0% против 61,6% у Qwen3.8-27B, на длинных текстах LongBench v2 — 66,9% против 52,3%. Модель ещё и экономна: исследователи Стэнфорда по своей методике оценили её «интеллект на джоуль» на DGX Spark в 0,703 против 0,430 у Qwen3.6-35B-A3B, хотя Inkling работала в MXFP8 с низким уровнем рассуждений, а Qwen — в NVFP4. Поэтому разработчик предлагает запускать на одном компьютере сразу несколько агентов.
Проигрывает она в офисной работе и в знаниях. Во всех пяти отраслевых индексах Artificial Analysis, где есть обе модели, Qwen3.8-27B на уровне Xhigh чуть впереди, заметнее всего в стратегии и операциях: 39,0 против 35,2 балла. Зацикливание не добавляет памяти на факты — знания зависят в основном от общего числа параметров, поясняет разработчик, — и доля ответов без галлюцинаций в AA-Omniscience у Inkling 2 Mini ниже: 63,4% против 71,4%. Сама компания признаёт, что в многоходовом диалоге и инструкциях со многими условиями есть небольшие модели сильнее: 50,0% на MultiChallenge и 33,4% на ComplexConstraints v1.1.
Цены, доступ и локальный запуск
Веса Inkling 2 Mini открыты под лицензией Apache 2.0. Через API модель доступна в Tinker, платформе Thinking Machines для запуска и дообучения, и на OpenRouter: $0,10 за 1 млн входных токенов, $0,40 за 1 млн выходных и $0,02 за чтение из кеша. Там её пока обслуживает один провайдер, Prime Intellect, на скорости 73 токена в секунду, а у Qwen3.8-27B 24 провайдера, и самые быстрые выдают 278–289. Стоит Qwen3.8-27B там $0,035 за вход, $1,50 за выход и $0,0175 за кеш, хотя цены у провайдеров разные.
Оценка редакции: сессия агента на 2 млн входных токенов, 90% которых читаются из кеша, и 100 тыс. выходных обойдётся в Inkling 2 Mini примерно в $0,10 (0,2 млн × $0,10 + 1,8 млн × $0,02 + 0,1 млн × $0,40), а в Qwen3.8-27B — в $0,19 (0,2 млн × $0,035 + 1,8 млн × $0,0175 + 0,1 млн × $1,50), почти вдвое дороже. Выигрыш даёт в основном дешёвый выход.
Локально модель запускается через Ollama на Mac с памятью от 32 ГБ и на NVIDIA DGX Spark, поддерживают её также vLLM, SGLang, llama.cpp и MLX. Для машин с меньшей памятью Unsloth выложила сжатые версии: 4-битная UD-Q4_K_M весит 16,61 ГБ и в 97,9% случаев выбирает тот же следующий токен, что и 8-битная на 22,87 ГБ. Сборку от ggml-org запускает одна команда: llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL.
Что в итоге
Inkling 2 Mini подойдёт тем, кому нужен открытый агент на своём компьютере: в программировании она идёт вровень с Qwen3.8-27B, в поиске и на длинных документах заметно сильнее, а запускается на Mac с 32 ГБ памяти. Через API, по оценке редакции, агентная сессия в ней почти вдвое дешевле, чем в Qwen3.8-27B, но модель пока обслуживает один провайдер, и он заметно медленнее самых быстрых провайдеров Qwen. Для офисной работы и вопросов на знание фактов лучше подходит Qwen3.8-27B: она реже галлюцинирует, а на уровне Xhigh чуть впереди и в отраслевых индексах. В многоходовых диалогах и инструкциях со многими условиями Inkling 2 Mini, как признаёт сам разработчик, уступает и некоторым небольшим моделям.
