fbpx
  • MEAL V2: способ улучшить точность классификации ResNet-50 до 80%+ на ImageNet

    MEAL V2 — это способ улучшить точность классификации стандартной ResNet-50 до 80%+ на датасете ImageNet без изменений в архитектуре. Код и модели доступны в открытом репозитории на GitHub.

    Подробнее про подход

    MEAL V2 основывается на MEAL, методе дистилляции знаний через дискриминаторы. В предложенном подходе упростили MEAL с помощью двух шагов:

    1. Использовали функционал схожести и дискриминатор только итоговых выходов модели;
    2. Усредняли softmax вероятности из всех ансамблей моделей-учителей. Это позволяет усилить контроль за дистилляцией

    MEAL V2 позволяет обучить модель с state-of-the-art качеством без использования таких популярных трюков, как:

    На ImageNet предложенный метод достигает точности 80.67%. В качестве архитектуры сети использовали стандартную реализацию ResNet-50. Такая модель обходит существующие state-of-the-art подходы со схожей структурой сети.

    Перечисление используемых и неиспользуемых трюков в MEAL V2