fbpx
  • Open source нейросеть Monkey-Net анимирует любые объекты без учителя

    monkey net

    Итальянские исследователи предложили метод анимации путем переноса движения из видео на целевое изображение. В отличие от предыдущих разработок Motion transfer, подход Monkey-Net не предназначен для конкретных категорий, а эффективен для анимирования любых объектов.

    Сеть Monkey-Net обучается без учителя. Для создания анимации ей требуется только входящее видео и изображение, на которое нужно перенести движения. Ключевая особенность разработки заключается в использовании разреженных, ориентированных на движение ключевых точек для моделирования и передачи информации о движении. На целевое изображение переносятся только точки, отвечающие за движения. 

    Читайте также: Танцуют все! — невероятное качество Motion Transfer для видео

    Архитектура сети состоит из трех основных модулей:

    • детектора, который обучается без учителя и извлекает ключевые точки объекта;
    • сети прогнозирования Dense Motion для создания тепловых карт и кодирования информации о движении;
    • сети передачи движения (Motion Transfer Generator) c архитектурой энкодер-декодер, которая использует тепловые карты движения и входное изображение, чтобы синтезировать выходные кадры.
    monkey net архитектура
    Схема предложенного метода

    Результаты

    Работу метода протестировали на датасетах Tai-Chi, the BAIR robot pushing, UvA-NEMO Smile и MGIF. Результаты показывают, что предложенный метод анимации изображений позволяет получать качественную анимацию для разных объектов.

    NEMO Face Dataset

    Monkey-Net архитектура

    Taichi Dataset

    Monkey-Net анимация motion transfer

    BAIR Robot Dataset

    monkey net результаты

    MGIF Dataset

    анимирование объектов motion transfer

    Больше информации можно получить на сайте проекта. Открытый код доступен на GitHub.