fbpx
  • Photo Wake-Up: метод анимирования персонажей на картинах

    photo wake up нейронная сеть AR анимация

    Команда исследователей Вашингтонского университета и Facebook создала алгоритм Photo Wake-Up, который анимирует персонажей на плоских изображениях: фотографиях, рисунках, комиксах, граффити и даже картинах Пикассо.

    Как работает

    Photo Wake-Up создает 3D-фигуру персонажа на картине, после чего анимирует её, создавая эффект выбегания за пределы кадра. Полученную анимацию можно увидеть на мониторе, воспроизвести как видео и посмотреть в дополненной реальности. Например, с помощью очков HoloLens, можно увидеть, как персонаж выбегает из картины, с разных точек обзора.
    нейронная сеть анимация в AR 3D

    Алгоритм

    Разработчики применяют разные алгоритмы для обнаружения людей на фото, сегментации и оценки позы. Сеть Mask R-CNN используется для обнаружения человека и отделения фигуры от фона, затем следующий алгоритм проводит оценку 2D-позы.

    На базе полученной 2D-модели фигуры создается 3D-модель. Для этого разработчики используют SMPL — реалистичную трехмерную модель человеческого тела, которая изменяется по форме фигуры с исходного изображения. На полученную модель PatchMatch накладывает текстуры.

    Еще один алгоритм использует реалистичные текстуры, чтобы заполнить сегменты фото, на которых до этого находилась фигура.

    Photo Wake Up
    Обзор метода

    Посмотрите примеры анимации, созданные разработчиками:

    В дальнейшем исследователи собираются расширять возможности анимации изображений. Они также видят применение своего метода в создании реалистичных 3D аватаров в дополненной реальности.


    Интересные статьи