• FrankMocap: инструмент для оценки 3D позы человека от FAIR

    FrankMocap — это система для распознавания движений тела и рук в 3D. Инструмента разрабатывали исследователи из FAIR. Система позволяет в реальном времени оценивать движения рук и тела человека в 3D на видеозаписи с одного ракурса.

    Модель принимает на вход кадры видеозаписи с одной RGB камеры. На выходе модель отдает предсказанные позы тела и рук. Основная цель FrankMocap — упростить доступ к методам 3D оценки позы. FrankMocap обрабатывает выдаёт предсказания со скоростью 9.5 кадров в секунду на инференсе. При этом по точности предсказаний система обходит аналоги.

    Подробнее про библиотеку

    По дефолту в FrankMocap в качестве рендерера используется openGL. Альтернативно можно использовать pytorch3d или openDR.

    Составные части модуля для распознавания рук

    FrankMocap основывается на опенсорсных инструментах и моделях:

    Сравнение моделей

    Разработчики сравнили предложенные модели для распознавания позы тела и рук с state-of-the-art методами. Ниже видно сравнение для модуля распознавания рук. Модели сравнивали на трех датасетах: STB, RHD и MPII+NZSL.

    Сравнение предложенного модуля для распознавания рук с state-of-the-art подходами

    neurohive telegram
    Подписаться
    Уведомить о
    guest

    0 Comments
    Старые
    Новые Популярные