![](https://neurohive.io/wp-content/uploads/2021/09/Snimok-5.png)
В OpenAI обучили нейросеть пересказывать содержание текста и целых книг. Модель основана на GPT-3 и использует метод рекурсивного разложения, то есть сначала создает пересказы небольших частей книги и затем объединяет их.
По сравнению с процедурой сквозного обучения, рекурсивное разложение позволяет генерировать пересказы книг неограниченной длины. Такой подход позволяет обойти ограничение на длину, на протяжении которой модель удерживает контекст.
![](https://neurohive.io/wp-content/uploads/2021/09/Snimok-6.png)
Помимо рекурсивного разложения, при обучении нейросети использовалось подкрепление в виде оценок пересказов, которые выставлялись вручную людьми, прочитавшими соответствующий блок книги. Таким образом модель обучалась соответствовать ожиданиям рецензентов.
Модель OpenAI в 5% случаев генерировала тексты, качество которых сопоставимо с пересказами, написанными человеком. Помимо этого, нейросеть получила наивысшую оценку в бенчмарке BookSum.
![](https://neurohive.io/wp-content/uploads/2021/09/Snimok-7.png)
Модель разработана в рамках инициативы OpenAI по согласованию выходных данных моделей с предпочтениями и целями людей.