X-Fields: нейросеть меняет угол обзора сцены на изображении

Исследователи из MPI Informatik и University College London обучили нейросеть, которая меняет угол обзора сцены на изображении. Нейросеть учитывает смену освещения. Чтобы интерполировать угол обзора, время и освещение из набора 2D изображений, у которых размечены координаты, нейросеть учится выводить каждое изображение из остальных.

На инференсе модель принимает на вход набор координат, которые описывают параметры угла обзора, времени и освещения. На выходе модель в реальном времени генерирует 2D изображение с заданными координатами. При этом в модель можно добавлять дополнительные параметры, которые будут учитываться при генерации изображения.

Исследователи предлагают представлять набор 2D изображений одной сцены с помощью нейронной сети, чтобы соотносить параметры вида, освещения и времени с изображениями. Модель может оценить для каждого пикселя на изображении, как он изменится при изменении угла обзора, времени или освещения. Технически это матрица Якоби для пикселей относительно угла обзора, времени и освещения.

Такое представление (X-Field) обучается для одной сцены за минуты. Это позволяет использовать представления в режиме реального времени для изменения на входном изображении параметров угла обзора, времени и освещения. В качестве архитектуры сети использовали CNN.

Визуализация работы нейросети во время обучения и во время тестирования
Сравнение предложенного подхода с альтернативными по функционалу
Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt