fbpx
  • X-Fields: нейросеть меняет угол обзора сцены на изображении

    Исследователи из MPI Informatik и University College London обучили нейросеть, которая меняет угол обзора сцены на изображении. Нейросеть учитывает смену освещения. Чтобы интерполировать угол обзора, время и освещение из набора 2D изображений, у которых размечены координаты, нейросеть учится выводить каждое изображение из остальных.

    На инференсе модель принимает на вход набор координат, которые описывают параметры угла обзора, времени и освещения. На выходе модель в реальном времени генерирует 2D изображение с заданными координатами. При этом в модель можно добавлять дополнительные параметры, которые будут учитываться при генерации изображения.

    Исследователи предлагают представлять набор 2D изображений одной сцены с помощью нейронной сети, чтобы соотносить параметры вида, освещения и времени с изображениями. Модель может оценить для каждого пикселя на изображении, как он изменится при изменении угла обзора, времени или освещения. Технически это матрица Якоби для пикселей относительно угла обзора, времени и освещения.

    Такое представление (X-Field) обучается для одной сцены за минуты. Это позволяет использовать представления в режиме реального времени для изменения на входном изображении параметров угла обзора, времени и освещения. В качестве архитектуры сети использовали CNN.

    Визуализация работы нейросети во время обучения и во время тестирования
    Сравнение предложенного подхода с альтернативными по функционалу