FairScale: расширение для PyTorch для распараллеливания вычислений
FairScale — это библиотека-расширение для PyTorch для высокопроизводительных вычислений и обучения на одной или нескольких машинах (нодах). Библиотека расширяет базовый функционал PyTorch через добавление нового функционала для проведения экспериментов. Подробнее…