fbpx
  • FNNP: уменьшение размера нейросети с помощью батч-нормализации

    FNNP — это алгоритм для сокращения размера обученной нейросети. Во время экспериментов исследователи сокращали размер MobileNet V1 и ResNet-50. FNNP обошла предыдущие подходы на 3.8% по итоговой точности предсказаний уменьшенной нейросети.

    Поиск избыточной части в обученной нейросети — это ключевая задача алгоритмов прунинга. Прунинг алгоритмы нацелены на уменьшение размера нейросети так, что минимально потерять в точности предсказаний модели. Часть алгоритмов пытаются предсказать качество работы сокращенной модели с помощью новых методов оценки. Такие методы либо неточные, либо вычислительно сложные для общего применения. 

    Fast Neural Network Pruning (FNNP) — это прунинг-алгоритм, в который встроен метод оценки качества модели (adaptive-BN-based evaluation). Предложенный метод оценки основан на адаптивной батч-нормализации и помогает устанавливать связь между подсетями и итоговой точностью их предсказаний. Так, FNNP помогает сократить время на выбор оптимальной подсети с лучшей итоговой точностью из множества подсетей. FNNP не требует дополнительной регуляризации и обучения с учителем.

    Как это работает

    Пайплайн алгоритма состоит из трех частей: 

    • Генерация стратегии прунинга выдает стратегии в формате векторов с послойным рейтингом прунинга. Рейтинг прунинга для каждого слоя модели семплируется случайно. Стратегии фильтруются по заранее заданным параметрам;
    • Прунинг полноразмерной сети с помощью сгенерированных стратегий;
    • Оценка качества подсетей через метод, основанный на адаптивной батч-нормализации

    Проверка работы алгоритма

    Исследователи сравнили FNNP с state-of-the-art прунинг методами: ThiNet, NetAdapt, Filter Pruning, AMC и Meta-Pruning. Метод оценки сгенерированных подсетей, основанный на адаптивной батч-нормализации, обходит конкурирующие подходы.

    Сравнение стандартного и adaptive-BN методов оценки подсетей
    Сравнение требуемых вычислительных ресурсов для существующих подходов