Microsoft представила фреймворк для генерации изображений MvM. MvM превосходит генеративно-состязательные нейросети, а также позволяет использовать новые алгоритмы обучения в задачах компьютерного зрения.
Возможности генеративно-состязательных нейросетей (GAN) в задачах компьютерного зрения ограничены двумя основными факторами. Во-первых, эти нейросети моделируют распределения с помощью статистических характеристик, таких как среднее значение и моменты, а не геометрических характеристик. Во-вторых, традиционные GAN представляют потерю сети дискриминатора только в виде одномерного скалярного значения, соответствующего евклидову расстоянию между реальным и поддельным распределениями данных. Из-за этих двух проблем невозможно напрямую применить методы обучения метрикам, а также применять новые функции потерь и методы обучения.
В MvM (Manifold Matching via Metric Learning) две сети обучаются друг против друга. Сеть генератора метрики учится определять лучшую метрику для сети генератора распределения, а сеть генератора распределения учится создавать отрицательные примеры для сети генератора метрики.
Отличия MvM от GAN:
Благодаря состязательному обучению MvM создает сеть генератора распределения, которая может создавать поддельное распределение данных, близкое к реальному распределению данных, и сеть генератора метрики, которая может обеспечить эффективную метрику для захвата внутренней геометрической структуры распределения данных.
В отличие от GAN, MvM формирует многомерное представление изображений. Это позволяет использовать такие методы, обучение без учителя. В Microsoft утверждают, что этот факт ускорит исследование генеративных моделей и откроет новые потенциальные направления, которые ранее считались невозможными.
Фреймворк доступен в GitHub.
вы хоть знаете определение слова фреймворк?