fbpx
  • Deep Plastic Surgery: нейросеть редактирует изображения лиц по скетчу

    Deep Plastic Surgery — это нейросетевой фреймворк, который позволяет пользователям синтезировать изображение на основе скетча и редактировать сгенерированное изображение. Модель устойчива к ошибкам в рисунках и генерирует реалистичные изображения лиц людей. По результатам экспериментов, модель обходит state-of-the-art подходы.

    Редактирование изображений на основе скетчей — это задача генерации и модификации изображений на основе структурной информации из скетчей. В связи с тем, что скетчи сложно собрать, прошлые методы в основном использовали карты границ (edge maps) для обучения модели. Использование скетчей предполагает, что модель обладает большей способностью к генерализации и более устойчива к отличиям в скетчах. Deep Plastic Surgery — это устойчивый и контролируемый фреймворк для редактирования изображений. Фреймворк позволяет интерактивно редактировать изображение с помощью вручную нарисованных скетчей.

    Как работает фреймворк

    Deep Plastic Surgery адаптирует edge-based модель, которая была обучена на картах граница, к скетчам. Адаптация происходит с помощью sketch refinement сети, которая обучается без скетчей. Цель sketch refinement сети заключается в том, чтобы подогнать входной скетч к картам границ. Выход сети поступает в edge-based модель, которая генерирует итоговое изображение.

    Визуализация составных частей модели: sketch refinement сеть (G), edge-based модель (F)

    Для обучения модели исследователи используют датасет CelebA-HQ. Карты границ извлекают с помощью HED детектора границ.

    Тестирование работы модели

    Исследователи сравнивают Deep Plastic Surgery с state-of-the-art edge-based моделями для редактирования изображений. Среди моделей для сравнения — BicycleGAN, pix2pixHD, pix2pix.

    Сравнение сгенерированных изображений на отобранном примере