fbpx

GAN применили для реалистичной дорисовки фотографий

Realistic outpainting using GAN

Deep learning применяется во многих задачах компьютерного зрения и показал хорошие результаты. Тем не менее, существуют задачи, с которыми нейронные сети справляются хуже традиционных подходов с использованием компьютерного зрения. Экстраполяция изображения (image outpainting) относится к последним. Пока заполнялись пропуски и добавлялись недостающие детали в изображения (image inpainting), image outpainting остается не очень популярной темой у исследователей и ей было посвящено всего несколько работ.

Тем не менее, исследователи из Стенфорда представили подход для задачи экстраполяции (image outpainting). Они решали проблему с помощью генеративно-состязательного обучения.

Генеративно-состязательное обучение DCGAN

Генеративно-состязательное обучение (GAN) привлекает много внимания уже несколько лет с момента появления. В этой работе исследователи используют GAN, чтобы “пририсовать” с помощью экстраполяции равные части к краям входного изображения.

Как и во многих генеративных задачах компьютерного зрения, целью является создание реалистичного (и приятного для глаз) изображения. Outpainting можно рассматривать как галлюцинацию за границами изображения. Интуитивно понятно, что это нетривиальная задача, поскольку в реальности все что угодно может оказаться за границами изображения. Таким образом, необходим значительный объем дополнительного контента, совпадающего с исходном изображением, особенно рядом с его границами.

Если генерация реалистичного контента вблизи границ изображения сложна, потому что контент должен хорошо совпадать с изображением, то генерация дальше от границ почти так же сложна, но уже по противоположной причине — отсутствие соседствующей информации.

В данной работе для решения проблемы экстраполяции изображений использовалась архитектура DCGAN. Авторы показывают, что их метод способен генерировать реалистичные образцы цветных изображений 128×128, и, кроме того, он допускает рекурсивную перерисовку, чтобы получать изображения большего размера.

Data

Примеры изображений из набора данных Places365

Датасет Places365 использовался для как для тренировки, так и для оценки метода. Авторы используют специфичную предварительную обработку, состоящую из трех ступеней:

  • нормализация изображения;
  • определение бинарной маски для центральной части изображения;
  • подсчет средней пиксельной интенсивности над немаскированным регионом.

После препроцессинга, каждое входное изображение представляется в виде пары из двух изображений: исходного и предобработанного. Предобработанное изображение получается путем маскировки исходного изображения и конкатенации с изображениями со средней интенсивностью пикселей.

Метод

Как упоминалось ранее, генеративная модель представляет собой сеть GAN, которая обучается по трехфазной учебной процедуре, чтобы добиться стабильности в процессе обучения. Генеративная сеть это несимметричная энкодер-декодер сеть и Дискриминатор, отвечающий за глобальные и локальные дискриминаторы. Генеративная сеть имеет 9 слоев (8 конволюционных и 1 деконволюционный), в то время как дискриминатор имеет 5 сверточных и 1 полностью подключенный уровень. Плюс конкатенациионный слой (concatenation layer), который объединяет выходы локальных дискриминаторов для создания одного выхода.

Схема тренировки, использованной в методе

Каждый слой сопровождается активацией ReLU, за исключением выходных уровней в обеих сетях, а расширенные свертки используются для дальнейшего улучшения outpainting. Авторы утверждают, что расширенные свертки действительно сильно влияют на качество сгенерированного изображения и способность перерисовывать изображение. Фактически же, улучшение происходит из-за увеличения локальной восприимчивости области, которая позволяет перерисовать весь образ. Расширенные свертки — всего лишь эффективный способ увеличить локальное восприимчивое поле в сверточных слоях без увеличения вычислительной сложности.

Генератор
Дискриминатор

Оценка и выводы

Подход исследователей из Стэнфорда показывает многообещающие результаты. Он способен генерировать относительно реалистичные изображения. Авторы оценили метод в основном качественно вследствие характера проблемы, а также использовали RMSE в качестве эталонной количественной оценочной метрики. Фактически, они используют модифицированную RMSE, где рассчитывают простую обработку изображения путем перенормировки.

Realistic outpainting using GAN
Результаты дорисовки (2 ряд)

В заключительной части статьи они объясняют проводимые эксперименты по рекурсивной перерисовке и показывают, что рекурсивно-перекрашенные изображения остаются относительно реалистичными, хоть остаются шумы от последовательности итераций. Рекурсивно-выведенное изображение с 5 итерациями приведено в качестве примера на изображении ниже.

Возможно, подход можно будет использовать для сжатия изображений.

Рекурсивно перерисованное изображение с пятью итерациями. Как видно, с каждой итерацией шумов становится больше
Влияние локальных дискриминаторов наряду с глобальным, в сравнении с использованием только глобальных