fbpx
  • EagleEye: оценка подсетей для оптимизации размера нейросети

    EagleEye — это метод оценки подсетей для алгоритмов сжатия размера обученных нейросетей. Метод основан на адаптивной нормализации батчей. EagleEye позволяет находить корреляции между подсетями обученной нейросети и точностью их предсказаний. С помощью EagleEye можно отобрать оптимальную структуру подсети с минимальной потерей в точности. EagleEye обходит существующие алгоритмы в задаче сжатия размера нейросети. При прунинге мини-версии MobileNet V1 предложенный подход находит подсеть на 50% меньше размером и с точностью предсказаний 70.9% на ImageNet.

    Описание проблемы

    Поиск вычислительно избыточных частей обученной нейросети — это задача алгоритмов прунинга. Многие алгоритмы предсказывают перформанс подсетей с помощью различных методов оценки. Однако проблемами таких алгоритмов являются неточности или высокая вычислительная сложность, которая приводит к ограничениям при использовании алгоритмов в реальных задачах. 

    Общий пайплайн задачи сжатия размера нейросети (прунинга)

    Оценка работы алгоритма

    В сравнении с state-of-the-art методами прунинга EagleEye является более эффективным: находит более точную подсеть быстрее.

    Сравнение методов прунинга