Исследователи из University of Washington опубликовали модель, которая подменяет задний фон на изображении. Алгоритм обходит state-of-the-art подходы. Примерами применений модели является съемка видео или смена заднего фона во время видео-звонков.
Задача матирования изображения
Матирование (matting) — это процесс отделения переднего плана изображения от заднего плана, чтобы сменить задний фон изображения. Обычно для такой цели используется хромакей, — зеленое полотно ткани, на фоне которого снимают видеозапись. Чтобы иметь возможность менять задний фон на любой видеозаписи, исследователи предлагают использовать генеративно-состязательную нейросеть.
Архитектура подхода
Нейросеть состоит из supervised блока, за которым идет unsupervised блок для уточнения (refinement) предсказания нейросети.
Модель обучалась на датасете Adobe Composition-1k, который состоит из 450 аннотированных изображений. Для каждого изображения доступна разметка его переднего фона. Во время обучения модель принимает на вход изображение, фон, сегментацию и информацию о движении. Context Switching блок, который вводят исследователи, отвечает за устойчивость предсказаний.
На шаге уточнения предсказания нейросети используется GAN. GAN принимает на вход предсказанный передний фон входного изображений и переносит его на новый задний фон. Генератор выучивается обновлять границы переднего фона.
