Deep Plastic Surgery — это нейросетевой фреймворк, который позволяет пользователям синтезировать изображение на основе скетча и редактировать сгенерированное изображение. Модель устойчива к ошибкам в рисунках и генерирует реалистичные изображения лиц людей. По результатам экспериментов, модель обходит state-of-the-art подходы.
Редактирование изображений на основе скетчей — это задача генерации и модификации изображений на основе структурной информации из скетчей. В связи с тем, что скетчи сложно собрать, прошлые методы в основном использовали карты границ (edge maps) для обучения модели. Использование скетчей предполагает, что модель обладает большей способностью к генерализации и более устойчива к отличиям в скетчах. Deep Plastic Surgery — это устойчивый и контролируемый фреймворк для редактирования изображений. Фреймворк позволяет интерактивно редактировать изображение с помощью вручную нарисованных скетчей.
Как работает фреймворк
Deep Plastic Surgery адаптирует edge-based модель, которая была обучена на картах граница, к скетчам. Адаптация происходит с помощью sketch refinement сети, которая обучается без скетчей. Цель sketch refinement сети заключается в том, чтобы подогнать входной скетч к картам границ. Выход сети поступает в edge-based модель, которая генерирует итоговое изображение.
Для обучения модели исследователи используют датасет CelebA-HQ. Карты границ извлекают с помощью HED детектора границ.
Тестирование работы модели
Исследователи сравнивают Deep Plastic Surgery с state-of-the-art edge-based моделями для редактирования изображений. Среди моделей для сравнения — BicycleGAN, pix2pixHD, pix2pix.
