В Allen Institute for AI опубликовали инициативу Green AI. Green AI фокусируется на оптимизации ресурсов для глубокого обучения. Количество вычислений, которые требуются для обучения нейросетевых моделей, растет в два раза каждые два месяца. Это складывается в рост в 300 тысяч раз с 2012 по 2018 год. Требуемые вычисления оставляют видимый углеродный след на окружающей среде.
Несмотря на то, что идея нейросетей основывается на нейронных процессах в человеческом мозге, текущие техники обучения нейросетей не сравнятся по эффективности расходования ресурсов с мозгом. Еще одним аспектом является финансовая затратность участия в нейросетевых исследованиях для ученых из развивающихся стран и студентов. Цель инициативы в том, чтобы оптимизировать количество расходуемых ресурсов, требуемых для глубокого обучения.
Red AI
Тренд к увеличению сложности нейросетей и количества их параметров исследователи называют Red AI. Как пример Red AI моделей — последние state-of-the-art модели из обработки естественного языка: XLNet и GPT-2.
Green AI
Green AI модели фокусируются на безопасности для экологии и на доступности к обучению. Обучение нейросетей может быть вычислительно неэффективно несколькими способами. Исследователи предлагают сделать метрики вычислительной эффективности моделей такими же важными пререквизитами в исследованиях, как и метрики точности моделей. Среди метрик, которые можно внедрить:
- Показывать график времени работы модели в зависимости от размера входных данных;
- Публиковать финансовые затраты на обучение моделей
Прозрачность и фокус на вычислительной эффективности нейросетей поспособствует развитию исследования по оптимизации существующих моделей.
