MEAL V2 — это способ улучшить точность классификации стандартной ResNet-50 до 80%+ на датасете ImageNet без изменений в архитектуре. Код и модели доступны в открытом репозитории на GitHub.
Подробнее про подход
MEAL V2 основывается на MEAL, методе дистилляции знаний через дискриминаторы. В предложенном подходе упростили MEAL с помощью двух шагов:
- Использовали функционал схожести и дискриминатор только итоговых выходов модели;
- Усредняли softmax вероятности из всех ансамблей моделей-учителей. Это позволяет усилить контроль за дистилляцией
MEAL V2 позволяет обучить модель с state-of-the-art качеством без использования таких популярных трюков, как:
- Модификация архитектуры;
- Расширение обучающей выборки;
- Автоаугментации данных;
- Косинусного learning rate;
- Обучения с mixup или cutmix;
- Label smoothing
На ImageNet предложенный метод достигает точности 80.67%. В качестве архитектуры сети использовали стандартную реализацию ResNet-50. Такая модель обходит существующие state-of-the-art подходы со схожей структурой сети.
