GPT-3.5 Turbo от OpenAI получил обновление, позволяющее разработчикам дообучать модель для использования в своих приложениях, что позволит разработчикам возможность максимально раскрыть потенциал GPT-3.5. Теперь разработчики могут делать тонкую настройку (finetuning) параметров модели для совершенствования производительности и точности работы модели в своих сферах применения. Первые тесты показывают, что тонко настроенный GPT-3.5 Turbo соответствует или превосходит базовые метрики GPT-4 для конкретных задач.
Где будет полезно дообучение GPT 3.5 Turbo
Тонкая настройка повышает способность модели последовательно форматировать ответы — важный аспект для приложений, требующих определенного формата ответа, таких как завершение кода, составление вызовов API или преобразования запросов пользователей в формат JSON. При составлении маркетинговых материалов, модель сможет дообучиться задавать форматирование текстов и tone of voice, присущие бренду. Также модель можно обучить отвечать на определенном языке, чтобы клиенты всегда получали ответы на том языке, на котором задан вопрос, а не указывать это в подсказке — по умолчанию GPT-3.5 отвечает на английском.
Подробнее о возможностях файнтюнинга модели читайте в документации OpenAI.
Повышение производительности
На первичных тестах выяснилось, что дообучение позволит компаниям сократить длину запросов при сохранении аналогичной эффективности: тестировщики смогли сократить размер запросов на 90%, внедряя инструкции непосредственно в модель, что ускоряет каждый вызов API и сокращает затраты. Дообученные модели обрабатывают контексты из 4 тыс. токенов, вдвое увеличивая предыдущую емкость, что также ускоряет вызовы и снижает затраты на использование API.
Поддержка тонкой настройки с вызовом функций и gpt-3.5-turbo-16k будет доступна осенью.
Стоимость
Стоимость тонкой настройки включает в себя обучение и использование модели, например, в $2.4 обойдется обучение на выборке из за 100 тыс. токенов с 3 эпохами.
