fbpx
  • Нейросеть FaceStyleGAN генерирует портреты из селфи в Snapchat

    FaceStyleGAN

    Исследователи из Snap Inc. и Чешского Технологического Университета обучили нейросеть, которая из фотографии пользователя генерирует портрет в желаемом стиле. Пользователь выбирает изображение портрета, на который нейросеть будет опираться при переносе стиля, и сеть в реальном времени генерирует портрет пользователя. Результаты FaceStyleGan сравнимы со state-of-the-art решениями.

    Видеодемострация работы FaceStyleGAN

    Архитектура нейросети

    Ключевая идея в том, что бы к существующему алгоритму синтезации портретов (FaceStyle) добавить новую модель условной генеративной нейросети. Подобная модификация сохраняет и в некоторых случаях повышает качество генерируемых портретов. Исследователи заявляют, что их подход обладает большей генерализующей способностью, чем FaceStyle. Это повышает устойчивость модели к новым типам входных изображений.

    Генеративная нейросеть делится на генератор и дискриминатор. В качестве генератора исследователи модифицировали Perceptual Loss модель от Стэнфорда. Для дискриминатора исследователи взяли PatchGAN архитектуру.

    Архитектура модифицированного генератора

    Сравнение работы FaceStyleGAN с SOTA решениями

    В рамках экспериментов исследователи сравнивали нейросеть с текущими state-of-the-art решениями в стилизации изображений и в генерации из изображения в изображение: FaceStyle, Liao et al., starGAN, Selim et al., Gatys et al., pix2pixHD и pix2pix.

    Исследователи попросили 194 респондента дать рейтинг того, как хорошо сгенерированные FaceStyle и FaceStyleGAN портреты передают стиль входного портрета. Оценка выставлялась  от 1 до 10, где 1 — очено плохо, а 10 — очень хорошо. Исследователи затем сравнили результаты с помощью статистического теста. Тест показал, что оба алгоритма показали схожие результаты (средний рейтинг для обоих подходов был 6.8).

    Визуальное сравнение работы моделей