DeepFaceDrawing — это нейросетевая модель, которая генерирует изображение человека на основе скетча. Разработкой сети занимались исследователи из University of Hong Kong.
Проблема существующих подходов
Существующие нейросетевые подходы к генерации изображений из скетча быстро синтезируют изображения лиц. Однако часто такие модели переобучены на скетчах и требуют профессиональные скетчи или карты границ на вход. Чтобы обойти это ограничение, исследователи предлагают моделировать пространство формы с множеством изображений лиц и синтезировать изображение в этом пространстве, чтобы аппроксимировать входной скетч. Нейросеть использует подход “от локального к глобальному”. Модель использует скетчи как ограничители. Это позволяет генерировать правдоподобные изображения лиц.
Что внутри модели
Предложенный подход состоит из трех субмодулей:
- Модуль, где выучиваются эмбеддинги ключевых черт лица с помощью отдельных автоэнкодеров;
- Сеть для соотнесения признаков, который декодирует векторы черт лица в соответствующие многоканальные карты признаков;
- Сеть для генерации изображения
Оценка работы модели
Исследователи сравнили предложенный подход с альтернативными существующими архитектурами. Среди альтернативных моделей — Pix2pix, Lines2FacePhoto, Pix2pixHD, iSketchNFill. Ниже на отдельных примерах можно видеть, что предложенный подход генерирует более фотореалистичные изображения.
