fbpx
  • Green AI: как обучать нейросети без вреда окружающей среде

    В Allen Institute for AI опубликовали инициативу Green AI. Green AI фокусируется на оптимизации ресурсов для глубокого обучения. Количество вычислений, которые требуются для обучения нейросетевых моделей, растет в два раза каждые два месяца. Это складывается в рост в 300 тысяч раз с 2012 по 2018 год. Требуемые вычисления оставляют видимый углеродный след на окружающей среде. 

    Несмотря на то, что идея нейросетей основывается на нейронных процессах в человеческом мозге, текущие техники обучения нейросетей не сравнятся по эффективности расходования ресурсов с мозгом. Еще одним аспектом является финансовая затратность участия в нейросетевых исследованиях для ученых из развивающихся стран и студентов. Цель инициативы в том, чтобы оптимизировать количество расходуемых ресурсов, требуемых для глубокого обучения.

    Количество вычислительных ресурсов для обучения нейросетевых моделей в динамике по годам. Рост в 300 тысяч раз за 6 лет

    Red AI

    Тренд к увеличению сложности нейросетей и количества их параметров исследователи называют Red AI. Как пример Red AI моделей — последние state-of-the-art модели из обработки естественного языка: XLNet и GPT-2. 

    AI исследования имеют тенденцию не учитывать вычислительную эффективность в работе. График показывает пропорцию исследований с главных конференций по глубокому обучению, которые фокусируются на точности модели, а не на эффективности

    Green AI

    Green AI модели фокусируются на безопасности для экологии и на доступности к обучению. Обучение нейросетей может быть вычислительно неэффективно несколькими способами. Исследователи предлагают сделать метрики вычислительной эффективности моделей такими же важными пререквизитами в исследованиях, как и метрики точности моделей. Среди метрик, которые можно внедрить:

    • Показывать график времени работы модели в зависимости от размера входных данных;
    • Публиковать финансовые затраты на обучение моделей

    Прозрачность и фокус на вычислительной эффективности нейросетей поспособствует развитию исследования по оптимизации существующих моделей.