DeText: фреймворк для ранжирования документов с помощью BERT

DeText — это фреймворк для обучения моделей обработки естественного языка. DeText позволяет решать задачи ранжирования, классификации и генерации с помощью state-of-the-art нейросетевых архитектур.

Функционал библиотеки

Среди функционала библиотеки:

  • Автоматическое извлечение признаков из текста с помощью нейросетей;
  • End-to-end обучение;
  • Набор функций потерь;
  • Конфигурируемая архитектура сети: возможность задавать размер и количество слоёв и тюнить гиперпараметры;
  • Гибкий фреймворк, позволяющий кастомизировать пайплайн обучения и модели под своё приложение

Структура фреймворка

Фреймворк DeText состоит из следующих компонентов:

  • Слой эмбеддинга слов. На этом этапе последовательность слов конвертируется в последовательность N-мерных векторов;
  • CNN/BERT/LSTM для слоя кодирования текста. Этот слой принимает на вход матрицу эмбеддингов слов и соотносит текстовые данные с эмбеддингами фиксированного размера;
  • Слой взаимодействия, в котором на основе эмбеддингов текстов генерируются признаки. Для этого слоя доступно несколько опций: конкатенация, косинусное расстояние и т.п.;
  • Обработка признаков;
  • Многослойный перцептрон

Модель обучается end-to-end, и ее параметры совместно обновляются так, что бы максимизировать вероятность клика на документ.

Структура модели
Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt