EagleEye — это метод оценки подсетей для алгоритмов сжатия размера обученных нейросетей. Метод основан на адаптивной нормализации батчей. EagleEye позволяет находить корреляции между подсетями обученной нейросети и точностью их предсказаний. С помощью EagleEye можно отобрать оптимальную структуру подсети с минимальной потерей в точности. EagleEye обходит существующие алгоритмы в задаче сжатия размера нейросети. При прунинге мини-версии MobileNet V1 предложенный подход находит подсеть на 50% меньше размером и с точностью предсказаний 70.9% на ImageNet.
Описание проблемы
Поиск вычислительно избыточных частей обученной нейросети — это задача алгоритмов прунинга. Многие алгоритмы предсказывают перформанс подсетей с помощью различных методов оценки. Однако проблемами таких алгоритмов являются неточности или высокая вычислительная сложность, которая приводит к ограничениям при использовании алгоритмов в реальных задачах.
Оценка работы алгоритма
В сравнении с state-of-the-art методами прунинга EagleEye является более эффективным: находит более точную подсеть быстрее.
