fbpx
  • Нейросеть Fashion++ помогает в выборе образа

    Исследователи из Cornell Tech, UT Austin и Geogia Tech представили нейросеть, которая так модифицирует фото образа, чтобы он соответствовал актуальным трендам.

    Модель состоить из нейросети, которая учится синтезировать предметы одежды по одному, формируя из них полноценный образ. Модель способна изменять фасон, текстуру, цвет, узор и материал одежды.

    Процесс изменения моделью образов. Слева оригинальная фотография образа. Справа итоговая сгенерированная моделью фотография

    Архитектура модели

    Процесс работы модели делится на несколько шагов:

    • Сначала генерируются скрытые параметры из энкодеров фасона одежды (Es) и текстуры (Et);
    • Модуль F++ отвечает за видоизменение образа и работает с скрытыми параметрами из Es и Et;
    • После того как образ изменен генератор фасона (Gs) декодирует обновленный фасон (s++) в формат 2D изображения (m++);
    • Затем это 2D изображение накладывается на обновленную текстуру образа (t++) и получается карта признаков (u++);
    • Карта признаков и обновленный фасон в 2D поступают в генератор текстуры образа (Gt);
    • Генератор текстуры на выходе выдает итоговый обновленный образ (x++)
    Визуализация архитектуры Fashion++

    Концептуально модель состоит из двух генераторов: генератор текстуры и генератор фасона. Для генерации текстуры исследователи выбрали Generative Adversarial Network (GAN), а для генерации фасона — Variational AutoEncoder (VAE). Для видоизменений образа был натренирован классификатор. Детали имплементации описаны в статье.

    Проверка эффективности модели

    Модель валидировалась на датасете Chictopia10k. Обучающая выборка генераторов состояла из 15,930 изображений, а классификатор трендовости образа обучался на 12,744 изображениях.

    Автоматическая и человеческая оценки работы Fashion++

    В случае с автоматизированной и ручной оценкой Fashion++ лучше всего балансирует между сохранением стиля оригинального образа и повышением его привлекательности. Человеческая оценка выставлялась по шкале Ликерта, и исследователи нормализовали ее значения, чтобы оценки на обоих осях были сопоставимы.

    Видеодемонстрация работы нейросети: