Исследователи из University of Washington и Facebook опубликовали нейросетевую модель, которая анимирует изображения. Модель принимает на вход изображение в 2D. На выходе модель отдает короткое видео, где объекты на изображении двигаются. Нейросеть способна анимировать изображения пляжей, водопадов и рек.
Подробнее про модель
Исследователи фокусировались на сценах с непрерывным движением, как текущая вода или дым. Метод основывается на наблюдении, что такой тип естественного действия может быть воспроизведен с помощью Эйлерово описания движения. Исследователи используют image-to-image сеть для кодирования движений природных сцен, собранных из онлайн видеозаписей. Затем для входного изображения синтезируется поле движения, которое совмещается с входным изображением с помощью метода deep warping.
