fbpx
  • DeepFaceDrawing: нейросеть генерирует изображения людей по скетчам

    DeepFaceDrawing — это нейросетевая модель, которая генерирует изображение человека на основе скетча. Разработкой сети занимались исследователи из University of Hong Kong.

    Проблема существующих подходов

    Существующие нейросетевые подходы к генерации изображений из скетча быстро синтезируют изображения лиц. Однако часто такие модели переобучены на скетчах и требуют профессиональные скетчи или карты границ на вход. Чтобы обойти это ограничение, исследователи предлагают моделировать пространство формы с множеством изображений лиц и синтезировать изображение в этом пространстве, чтобы аппроксимировать входной скетч. Нейросеть использует подход “от локального к глобальному”. Модель использует скетчи как ограничители. Это позволяет генерировать правдоподобные изображения лиц.

    Что внутри модели

    Предложенный подход состоит из трех субмодулей:

    1. Модуль, где выучиваются эмбеддинги ключевых черт лица с помощью отдельных автоэнкодеров;
    2. Сеть для соотнесения признаков, который декодирует векторы черт лица в соответствующие многоканальные карты признаков;
    3. Сеть для генерации изображения
    Визуализация структуры подхода

    Оценка работы модели

    Исследователи сравнили предложенный подход с альтернативными существующими архитектурами. Среди альтернативных моделей — Pix2pix, Lines2FacePhoto, Pix2pixHD, iSketchNFill. Ниже на отдельных примерах можно видеть, что предложенный подход генерирует более фотореалистичные изображения.

    Сравнение предложенного метода с state-of-the-art подходами