OpenAI представила WebGPT — модель, выполняющую поиск ответа на вопрос в Интернете. WebGPT комбинирует информацию из нескольких источников и генерирует текст ответа.
Языковые модели, такие как GPT-3, полезны для многих практических задач, но имеют тенденцию к предоставлению неправдивой информации при выполнении задач, требующих конкретных знаний о мире. Чтобы решить эту проблему, в OpenAI обучили GPT-3 использовать текстовый веб-браузер.
Как обучалась WebGPT
Модель действует аналогично тому, как люди ищут ответы на вопросы в Интернете – отправляет поисковые запросы, переходит по ссылкам и просматривает веб-страницы. Модели предоставляется открытый вопрос и краткое описание состояния браузера, и она должна подавать такие команды, как “Поиск…” и “Найти на странице: …”. Таким образом, модель собирает отрывки с веб-страниц, а затем использует их для составления ответа.
WebGPT была обучена отвечать на вопросы из ELI — датасета вопросов, которые задают пользователи Reddit. После обучения модель начала генерировать ответы, которые в 56% случаев предпочтительнее ответов, написанных вручную людьми.
Точность ответов модели оказалась сравнима с ответами людей. Чтобы убедиться в этом, WebGPT была протестирована на TruthfulQA — бенчмарке, предназначенном для проверки объективности моделей.
Модель превосходят GPT-3 в TruthfulQA. В дальнейшем в OpenAI планируют улучшить модель путем добавления функции оценки надежности источников данных.
