Команда исследователей Вашингтонского университета и Facebook создала алгоритм Photo Wake-Up, который анимирует персонажей на плоских изображениях: фотографиях, рисунках, комиксах, граффити и даже картинах Пикассо.
Как работает
Photo Wake-Up создает 3D-фигуру персонажа на картине, после чего анимирует её, создавая эффект выбегания за пределы кадра. Полученную анимацию можно увидеть на мониторе, воспроизвести как видео и посмотреть в дополненной реальности. Например, с помощью очков HoloLens, можно увидеть, как персонаж выбегает из картины, с разных точек обзора.
Алгоритм
Разработчики применяют разные алгоритмы для обнаружения людей на фото, сегментации и оценки позы. Сеть Mask R-CNN используется для обнаружения человека и отделения фигуры от фона, затем следующий алгоритм проводит оценку 2D-позы.
На базе полученной 2D-модели фигуры создается 3D-модель. Для этого разработчики используют SMPL — реалистичную трехмерную модель человеческого тела, которая изменяется по форме фигуры с исходного изображения. На полученную модель PatchMatch накладывает текстуры.
Еще один алгоритм использует реалистичные текстуры, чтобы заполнить сегменты фото, на которых до этого находилась фигура.
- Обзор метода
Посмотрите примеры анимации, созданные разработчиками:
В дальнейшем исследователи собираются расширять возможности анимации изображений. Они также видят применение своего метода в создании реалистичных 3D аватаров в дополненной реальности.
Интересные статьи
