DeText — это фреймворк для обучения моделей обработки естественного языка. DeText позволяет решать задачи ранжирования, классификации и генерации с помощью state-of-the-art нейросетевых архитектур.
Функционал библиотеки
Среди функционала библиотеки:
- Автоматическое извлечение признаков из текста с помощью нейросетей;
- End-to-end обучение;
- Набор функций потерь;
- Конфигурируемая архитектура сети: возможность задавать размер и количество слоёв и тюнить гиперпараметры;
- Гибкий фреймворк, позволяющий кастомизировать пайплайн обучения и модели под своё приложение
Структура фреймворка
Фреймворк DeText состоит из следующих компонентов:
- Слой эмбеддинга слов. На этом этапе последовательность слов конвертируется в последовательность N-мерных векторов;
- CNN/BERT/LSTM для слоя кодирования текста. Этот слой принимает на вход матрицу эмбеддингов слов и соотносит текстовые данные с эмбеддингами фиксированного размера;
- Слой взаимодействия, в котором на основе эмбеддингов текстов генерируются признаки. Для этого слоя доступно несколько опций: конкатенация, косинусное расстояние и т.п.;
- Обработка признаков;
- Многослойный перцептрон
Модель обучается end-to-end, и ее параметры совместно обновляются так, что бы максимизировать вероятность клика на документ.
