Fluence — это библиотека для обучения глубоких NLP-моделей, которая основана на Pytorch. Библиотека предоставляет вычислительно эффективные и низкоресурсные реализации методов и алгоритмов для NLP-задач. Основным фокусом библиотеки является предоставление поддержки для обучения трансформеров для NLP-задач. Однако функционал Fluence можно масштабировать на другие домены и архитектуры.
Подробнее про библиотеку
На текущий момент библиотека предоставляет доступ к следующим методам и моделям:
- Адаптивные методы: Adaptive Attention Span, Adaptively Sparse Transformers, Layerdrop;
- Importance sampling: Кластеризация;
- Метаобучение: MAML
Основными преимуществами Fluence являются:
- Вычислительная эффективность: возможность обучения моделей при ограниченных вычислительных ресурсах;
- Устойчивость: использование алгоритмов интерпретации моделей и указания на ошибки моделей
Fluence полностью интегрирован с Pytorch и использует имплементации часть функционала библиотеки transformers.
