Facebook AI представили новую задачу по обработке естественного языка — ответы на открытые вопросы. Исследователи выложили в открытый доступ данные, код и результаты базовых моделей.
Чтобы поспособствовать развитию умных ассистентов и вопросно-ответных систем, Facebook AI опубликовали первый крупный датасет с ответами на комплексные вопросы. Текущие QA системы фокусируются на мелких вопросах и не способны давать интерпретируемые ответы на более сложные вопросы. Опубликованный датасет требует от моделей отвечать на неоднозначные вопросы. В датасете содержатся комплексные вопросы и ответы на эти вопросы, составленные людьми. Модель должна выучиться эмулировать ответы на вопросы от человека. Вопросы в датасете касаются разных сфер.
Ответы в свободной форме требуют не только поиска релевантной информации в интернете, но и объединения этой информации в единый связный текст.
Как составлялся датасет
Чтобы создать датасет, исследователи использовали публичный сабреддит “Explain Like I’m Five” (ELI5). В этом сабреддите участники отвечали на вопросы так, чтобы ответ мог понять маленький ребенок. Датасет состоит из 270 тысяч тредов с различными открытыми вопросами, которые предполагают развернутый ответ.
QA модели для ELI5 повторяют то, что делают люди, когда не знают ответа на вопрос: ищут в интернете релевантные статьи, чтобы изучить предмет. ELI5 комбинирует в себе задачу синтезирования информации из различных ресурсов, ответа на вопросы и генерации текста.
Экстрактивное и абстрактное обучение
Исследователи сформулировали два направления решения задачи:
- Экстрактивные модели, которые генерируют ответы, которые скопированы слово в слово из базы документов;
- Абстрактные модели, которые могут переписать информацию в документах из базы, если будет необходимо
В качестве примера экстрактивной модели была обучена bidirectional attention flow (BidAF) модель. Эта модель определяла релевантные предложения в базе документов и копировала эти предложения в ответ. По результатам, BidAF выдавала более точные результаты, чем базовая модель — term frequency-inverse document frequency (TFIDF).
В качестве примера абстрактной модели исследователи обучили seq2seq. Модель была адаптирована к нескольким задачам, и это дало результаты точнее, чем языковая модель и стандартная seq2seq модель.
Более подробно о будущих направлениях исследования можно прочитать в оригинальной статье.
