Модель OpenAI генерирует краткие пересказы книг

В OpenAI обучили нейросеть пересказывать содержание текста и целых книг. Модель основана на GPT-3 и использует метод рекурсивного разложения, то есть сначала создает пересказы небольших частей книги и затем объединяет их.

По сравнению с процедурой сквозного обучения, рекурсивное разложение позволяет генерировать пересказы книг неограниченной длины. Такой подход позволяет обойти ограничение на длину, на протяжении которой модель удерживает контекст.

Схема рекурсивного разложения.

Помимо рекурсивного разложения, при обучении нейросети использовалось подкрепление в виде оценок пересказов, которые выставлялись вручную людьми, прочитавшими соответствующий блок книги. Таким образом модель обучалась соответствовать ожиданиям рецензентов.

Модель OpenAI в 5% случаев генерировала тексты, качество которых сопоставимо с пересказами, написанными человеком. Помимо этого, нейросеть получила наивысшую оценку в бенчмарке BookSum.

Пример пересказа первой части «Гарри Поттера».

Модель разработана в рамках инициативы OpenAI по согласованию выходных данных моделей с предпочтениями и целями людей.

Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt