• Tool Retrieval в Gemini API: агент с 200 инструментами тратит почти в 7 раз меньше токенов по расчёту Google

    Tool Retrieval Gemini Api

    Google запустила Tool Retrieval в Gemini API — механизм, при котором агент держит наготове всю библиотеку инструментов, а полные описания их параметров попадают в контекст модели, только когда понадобились для задачи. Функция рассчитана на агентов с десятками и сотнями инструментов и подключёнными MCP-серверами и доступна в режиме превью в Interactions API.

    В расчётном примере из документации — это не замер — разговор агента с библиотекой из 200 инструментов обходится примерно в 23 650 входных токенов вместо 164 000, почти в 7 раз меньше. Anthropic для своего аналога заявляла сокращение расхода токенов на 85%, OpenAI сообщала о 47% при той же точности на бенчмарке MCP Atlas, но условия замеров у компаний разные. Экономия складывается из того, что именно модель видит до поиска.

    Как работает Tool Retrieval

    Разработчик добавляет в запрос инструмент tool_search и ставит флаг defer_loading: true на функции, которые нужны редко. Модель по-прежнему видит имя и краткое описание каждой отложенной функции — по первым замерам Google, около 26 токенов на инструмент, — но не схему её параметров. Когда функция понадобилась, модель запрашивает её по имени, API подгружает схему, и модель делает вызов — всё внутри одного запроса.

    Тот же флаг можно поставить на удалённый MCP-сервер целиком, и тогда все его инструменты загружаются по требованию. Подгруженные схемы добавляются по ходу разговора, а не в начало промпта, поэтому оно не меняется и продолжает браться из кэша.

    Для компаний со своим реестром инструментов или фильтром прав пользователей есть режим поиска на стороне приложения — execution: "client". Каждый поиск в нём добавляет дополнительный обмен запросами, зато инструменты не нужно объявлять заранее: их можно добавить посреди разговора, например, когда пользователь подключил новую интеграцию.

    Чем Tool Retrieval отличается от аналогов Anthropic и OpenAI

    Anthropic выпустила свой Tool search tool почти за год до Google, а OpenAI добавила tool search в Responses API вместе с GPT-5.4. Интерфейс Gemini почти повторяет OpenAI — тот же тип tool_search, флаг defer_loading и параметр execution, — что, по оценке редакции, упростит перенос агентов между платформами.

    Параметр Gemini API, Tool Retrieval Claude API, Tool search tool OpenAI Responses API, tool search
    Что модель видит до поиска Имя и описание каждой отложенной функции Только инструмент поиска и неотложенные инструменты Имена и описания функций, у пространств имён и MCP-серверов — только общее описание
    Как находит инструмент Запрашивает схемы по точным именам Поиск по регулярному выражению или BM25, до 5 результатов по умолчанию Загружает нужные функции, пространства имён или MCP-серверы
    Модели Gemini 3.6 и новее, в том числе Gemini 4 Neon Claude 4.5 и новее GPT-5.4 и новее
    Заявленная экономия токенов, % Не заявлена, в расчётном примере около 86 Более 85 47

    Модель Gemini сразу видит весь каталог, но платить за него приходится в каждом запросе: 1000 инструментов по 26 токенов — около 26 000 токенов (оценка редакции). У Anthropic отложенные инструменты в контекст не попадают, а в одном запросе их может быть до 10 000. Google не приводит замеров точности выбора инструментов, хотя называет её падение одной из причин запуска; Anthropic по внутренним замерам сообщала о росте точности Claude Opus 4.5 с 79,5% до 88,1% на задачах с MCP.

    Когда отложенная загрузка выгодна, а когда нет

    Отдельной платы нет: токены оплачиваются по обычным тарифам модели. Но каждый поиск на сервере — ещё один проход модели со всем контекстом, то есть почти повторная оплата промпта за вычетом кэшированной части.

    Расчёт редакции на примере Google: Gemini 4 Hydrogen из анонса стоит $1,50 за 1 млн входных токенов. Разговор с библиотекой из 200 инструментов обойдётся в $0,246 при обычной загрузке и примерно в $0,035 с Tool Retrieval — около $2100 экономии на 10 000 разговоров. В обратном примере Google — 10 инструментов и контекст в 30 000 токенов — выходит 92 830 токенов вместо 68 000, на 36,5% больше. Выходные токены и кэш не учтены; кэшированный вход Hydrogen стоит $0,075 за 1 млн — в 20 раз дешевле.

    Ограничения превью: в классическом методе generateContent Tool Retrieval не работает, а интерфейс может измениться до общего релиза. Подгруженную схему нельзя выгрузить до конца разговора. Обычную загрузку Google советует оставить для библиотек примерно до 20 стабильных инструментов, а Anthropic советует включать поиск уже от 10.


    neurohive telegram
    Подписаться
    Уведомить о
    guest

    0 Comments
    Старые
    Новые Популярные