Исследователи из Tencent Lightspeed & Quantum Studios, Adobe Research, Dalian University of Technology и Johns Hopkins University предложили новый функционал ошибки для моделей, которые решают задачу дополнения пустых частей на изображении. По результатам экспериментов, модель с предложенным функционалом ошибки обходит state-of-the-art-подходы.
Прошлые подходы
Сверточные нейронные сети показали себя неэффективными для задачи распространения информации из разных частей изображения. Недавние исследования в дополнении изображения пробуют избавиться от этой проблемы с помощью прямого поиска референтных регионов по всему изображению, чтобы на основе их признаков заполнить пустую часть изображения. Эта операция может быть имплементирована как слой контекстного внимания (CA layer). Такой слой широко используется в методах глубокого обучения.
Подробнее про функционал ошибки
Однако его использование вычислительно затратно. Кроме того, он часто не справляется с нахождением корректных референтных частей изображения. Исследователи предлагают новую функцию ошибки — contextual reconstruction loss (CR loss), которая позволит обойти эти ограничения. Сначала они сформулировали критерий поиска региона на основе минимизации функционалов ошибок реконструкции и состязательности. Затем CR использует стандартную CNN для симуляции поиска патчей во время обучения. Во время инференса не требуется никаких дополнительных вычислений.
