Итальянские исследователи предложили метод анимации путем переноса движения из видео на целевое изображение. В отличие от предыдущих разработок Motion transfer, подход Monkey-Net не предназначен для конкретных категорий, а эффективен для анимирования любых объектов.
Сеть Monkey-Net обучается без учителя. Для создания анимации ей требуется только входящее видео и изображение, на которое нужно перенести движения. Ключевая особенность разработки заключается в использовании разреженных, ориентированных на движение ключевых точек для моделирования и передачи информации о движении. На целевое изображение переносятся только точки, отвечающие за движения.
Читайте также: Танцуют все! — невероятное качество Motion Transfer для видео
Архитектура сети состоит из трех основных модулей:
- детектора, который обучается без учителя и извлекает ключевые точки объекта;
- сети прогнозирования Dense Motion для создания тепловых карт и кодирования информации о движении;
- сети передачи движения (Motion Transfer Generator) c архитектурой энкодер-декодер, которая использует тепловые карты движения и входное изображение, чтобы синтезировать выходные кадры.
Результаты
Работу метода протестировали на датасетах Tai-Chi, the BAIR robot pushing, UvA-NEMO Smile и MGIF. Результаты показывают, что предложенный метод анимации изображений позволяет получать качественную анимацию для разных объектов.
NEMO Face Dataset
Taichi Dataset
BAIR Robot Dataset
MGIF Dataset
Больше информации можно получить на сайте проекта. Открытый код доступен на GitHub.
