Нейросеть меняет фон на изображении в высоком разрешении

Исследователи из University of Washington опубликовали нейросетевую модель, которая заменяет задний фон на фотографии. Модель выдает итоговые изображения со скоростью 30 кадров в секунду для разрешения 4K и 60 кадров в секунду — для HD. В сравнении с state-of-the-art подходами модель выдает более точные результаты. Кроме точности предсказаний, модель обходит альтернативные подходы в разрешении генерируемых изображений и скорости предсказания.

В чем проблема

Предложенная модель основывается на идее матирования фона, где делают дополнительный кадр с фоном и используют его для восстановления переднего фона. Основной сложностью является вычисление для высокого разрешения, где должны учитываться мелкие детали волос. При этом модель должна работать выдавать предсказания в реальном времени. Чтобы обойти эти ограничения, исследователи предлагают две двухступенчатый фреймворк. 

Подробнее про фреймворк

На первом этапе базовая сеть рассчитывает результат в низком разрешении. На втором этапе другая модель корректирует и уточняет результат первой на отдельных патчах изображения. На выходе фреймворк отдает отделенный от заднего фона передний фон в высоком разрешении.

Кроме моделей, исследователи опубликовали два датасета для задачи удаления заднего фона: VideoMatte240K и PhotoMatte13K/85.

Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt