fbpx
  • BlenderBot 2.0: чат-бот FAIR с долговременной памятью

    FAIR представила вторую версию BlenderBot — open-source чат-бота, объединяющего в себе несколько разговорных навыков, включая персонифицированность, эмпатию и фактические знания. BlenderBot 2.0 обладает долговременной памятью и способностью общаться на темы, не использовавшиеся при обучении.

    Чат-бот сохраняет в долговременную память все данные, полученные во время предыдущих диалогов с пользователем, и может использовать их в последующих разговорах через несколько дней, недель и даже месяцев. Например, если вы обсуждали с чат-ботом Тома Брэди несколько недель назад, он потенциально может затронуть тему НФЛ в будущих разговорах, поскольку он знает, что для вас это актуальная тема.

    Также во время диалога модель формирует поисковые запросы в Интернете, анализирует результаты и включает их в ответы на вопросы пользователей. Таким образом, модель всегда является актуальной, так как она не опирается на данные, использованные при обучении, которые могли устареть.

    Для решения этих задач в FAIR разработали алгоритм Retrieval Augmented Generation. Во время диалога модель, которая сочетает в себе компонент поиска информации с генератором seq2seq, ищет соответствующую информацию как в своей долговременной памяти, так и в документах, которые она находит с помощью поиска в Интернете. Для этого традиционная архитектура кодер-декодер была дополнена модулем, который генерирует поисковые запросы с учетом разговорного контекста.

    Архитектура BlenderBot 2.0.

    Для обучения нейросетей в FAIR разработали два датасета:

    • чаты, дополненные новой информацией из поисковых запросов в Интернете (датасет Wizard of the Internet);
    • многосессионные, продолжительные чаты с пользователями с отсылками к данным из предыдущих сеансов переписки (датасет Multi-Session Chat).

    Новый чат-бот превосходит BlenderBot 1.0: оценка вовлеченности (способности продолжать общение с того места, на котором закончился предыдущий сеанс общения) увеличилась на 17%, а оценка учета контекста предыдущих сеансов общения увеличилась на 55%. При этом достоверность фактических данных, предоставляемых BlenderBot 2.0, возросла на 12%. На сегодняшний день BlenderBot 2.0 превосходит все существующие модели чат-ботов.

    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии