fbpx
  • Нейросеть учится отвечать на открытые вопросы

    Facebook AI представили новую задачу по обработке естественного языка — ответы на открытые вопросы. Исследователи выложили в открытый доступ данные, код и результаты базовых моделей.

    Разница между текущей и более комплексной вопросно-ответными системами

    Чтобы поспособствовать развитию умных ассистентов и вопросно-ответных систем, Facebook AI опубликовали первый крупный датасет с ответами на комплексные вопросы. Текущие QA системы фокусируются на мелких вопросах и не способны давать интерпретируемые ответы на более сложные вопросы. Опубликованный датасет требует от моделей отвечать на неоднозначные вопросы. В датасете содержатся комплексные вопросы и ответы на эти вопросы, составленные людьми. Модель должна выучиться эмулировать ответы на вопросы от человека. Вопросы в датасете касаются разных сфер.

    Ответы в свободной форме требуют не только поиска релевантной информации в интернете, но и объединения этой информации в единый связный текст.

    Как составлялся датасет 

    Чтобы создать датасет, исследователи использовали публичный сабреддит “Explain Like I’m Five” (ELI5). В этом сабреддите участники отвечали на вопросы так, чтобы ответ мог понять маленький ребенок. Датасет состоит из 270 тысяч тредов с различными открытыми вопросами, которые предполагают развернутый ответ.

    QA модели для ELI5 повторяют то, что делают люди, когда не знают ответа на вопрос: ищут в интернете релевантные статьи, чтобы изучить предмет. ELI5 комбинирует в себе задачу синтезирования информации из различных ресурсов, ответа на вопросы и генерации текста.

    Экстрактивное и абстрактное обучение

    Исследователи сформулировали два направления решения задачи: 

    • Экстрактивные модели, которые генерируют ответы, которые скопированы слово в слово из базы документов;
    • Абстрактные модели, которые могут переписать информацию в документах из базы, если будет необходимо

    В качестве примера экстрактивной модели была обучена bidirectional attention flow (BidAF) модель. Эта модель определяла релевантные предложения в базе документов и копировала эти предложения в ответ. По результатам, BidAF выдавала более точные результаты, чем базовая модель — term frequency-inverse document frequency (TFIDF).

    Разница между абстрактным ответом и экстрактивным

    В качестве примера абстрактной модели исследователи обучили seq2seq. Модель была адаптирована к нескольким задачам, и это дало результаты точнее, чем языковая модель и стандартная seq2seq модель.

    Более подробно о будущих направлениях исследования можно прочитать в оригинальной статье.