Исследователи из CMU предложили новый метод обучения ML-классификаторов, который схож с тем, как родители обучают детей. Модель сначала учится различать более общие классы объектов. Например, кошек от собак. Затем дообучается классифицировать подклассы в каждом из общих классов.
Ограничение текущего подхода к обучению
Стандартный формат обучения ML-модели предполагает, что модель получает на вход максимально детализированные данные сразу. Например, в случае с классификатором животных на изображениях. Модель обучается на примерах изображений каждого вида животного.
Когда родитель учит ребенка, подход отличается. Дети сначала выучивают более общие классы объектов: собаки любой породы относятся к классу “собак”. Только после того как ребенок научился отличать объекты общего класса, он учится различать подклассы в каждом из общих классов. Исследователи из CMU взяли этот метод за основу для обучения классификатора изображений.
Про подход
Модель учится классифицировать объекты поэтапно: от более общего класса к более точному. На каждом этапе нейросеть видит те же данные, но разметка классов меняется от более общих классов к более точным. Метод назвали coarse-to-fine классификацией.
Сначала исследователи обучили модель на финальных детализированных классах. Посмотрели на то, какие изображения каких классов модель распознает хуже всего, и сгруппировали эти классы в один класс на раннем этапе обучения модели. Затем с каждой итерацией классы становились более детализированными.
Тестирование подхода
По результатам экспериментов, предложенный подход в большинстве случаев дает прирост к точности модели до 7%. Исследователи сравнивали базовую модель и ту же модель, но которую обучали с помощью предложенного подхода. В качестве базовой архитектуры использовали CNN с тремя сверточными слоями и одним полносвязным.
