Исследователи модифицировали 4 популярных датасета для задачи гармонизации изображения. Датасеты, которые были использованы: COCO, Adobe5k, Flickr, day2night. Гармонизация изображения — это задача переноса переднего плана одного изображения на другое изображение.
Что за задача
Процесс объединения двух изображений состоит из двух подзадач: сегментация переднего плана изображения и регулировка заднего плана. Есть два изображения — первое содержит в себе объект на переднем плане, который нужно перенести, второе — изображение, куда переносится передний план из первого изображения. После того как передний план на первом изображении сегментирован, необходимо подогнать задний фон второго изображения. Этот шаг необходим, чтобы минимизировать количество артефактов и повысить реалистичность сгенерированного изображения. Информация о цвете переносится из первого изображения на второе.
Зачем это нужно
Недостаток публичных датасетов с изображениями в высоком разрешении мешает в решении этой задачи. Исследователи использовали популярные датасеты с изображениями. Датасеты модифицировали так, чтобы их можно было использовать для гармонизации изображений. Исследователи сгенерировали составные изображения на основе Flickr датасета.
Составление датасета
Процесс составления датасетов был описан на примере отличался для COCO, Flickr и MIT-Adobe5k, day2night:
- Для COCO и Flickr: у входного изображения сегментировали передний план, искали изображение для референса среди изображений той же категории, переносили цвет из входного изображения в референс-изображение;
- Для MIT-Adobe5k и day2night: сегментировали передний план входного изображения, отбирали другой вариант этого изображения (с другим освещением или стилем) и накладывали входное изображение на референс
