Исследователи из MPI Informatik и University College London обучили нейросеть, которая меняет угол обзора сцены на изображении. Нейросеть учитывает смену освещения. Чтобы интерполировать угол обзора, время и освещение из набора 2D изображений, у которых размечены координаты, нейросеть учится выводить каждое изображение из остальных.
На инференсе модель принимает на вход набор координат, которые описывают параметры угла обзора, времени и освещения. На выходе модель в реальном времени генерирует 2D изображение с заданными координатами. При этом в модель можно добавлять дополнительные параметры, которые будут учитываться при генерации изображения.
Исследователи предлагают представлять набор 2D изображений одной сцены с помощью нейронной сети, чтобы соотносить параметры вида, освещения и времени с изображениями. Модель может оценить для каждого пикселя на изображении, как он изменится при изменении угла обзора, времени или освещения. Технически это матрица Якоби для пикселей относительно угла обзора, времени и освещения.
Такое представление (X-Field) обучается для одной сцены за минуты. Это позволяет использовать представления в режиме реального времени для изменения на входном изображении параметров угла обзора, времени и освещения. В качестве архитектуры сети использовали CNN.
