fbpx
  • Tutel: библиотека Microsoft для обучения крупномасштабных моделей

    Microsoft представила Tutel — высокопроизводительную библиотеку для облегчения разработки крупномасштабных моделей типа MoE (mixture-of-experts). Tutel интегрирована в набор инструментов Meta Fairsec.

    MoE — это архитектура модели глубокого обучения, в которой вычислительные затраты растут с количеством параметров медленнее, чем линейная функция. В настоящее время MoE является единственным продемонстрированным подходом к масштабированию моделей глубокого обучения до триллиона с лишним параметров.

    Tutel оптимизирована для Azure NDM A100 v4. Благодаря Tutel использование MoE-моделей упрощается и становится более эффективным. Для одного слоя MoE Tutel обеспечивает 8,49-кратное ускорение на узле NDM A100 v4 с 8 графическими процессорами и 2,75-кратное ускорение на 64 узлах NDM A100 v4 с 512 графическими процессорами A100, соответственно, по сравнению с современными реализациями MoE, такими как Meta Facebook AI Research Sequence-to-Sequence (Fairseq).

    Microsoft работала над Tutel вместе с Meta и интегрировала библиотеку в набор инструментов Fairsec.

    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии