fbpx
  • Fairmotion: библиотека для работы с данными захвата движения

    Fairmotion — это библиотека для работы с данными захвата движения. Захват данных (motion capture) — это технология сбора данных о движениях объекта на видеозаписи. С помощью fairmotion можно управлять комплексными представлениями движений, 3D трансформациями, файловыми форматами и визуализацией. Это позволяет пользователям сконцентрироваться на задаче обучения моделей.Пользователи могут пользоваться датасетами для захвата движений напрямую из библиотеки: датасет от CMU и AMASS. Исследователи также предложили подход для обучения RL-агентов движениям.

    Подробнее про предложенный подход

    Исследователи разделили движения на схожие. Затем для каждого кластера движений обучили агента-эксперта. Под экспертом понимается контроллер, который способен воспроизвести движения в данном кластере. Эти эксперты комбинируются на втором этапе обучения в общий контроллер, который способен воспроизводить любое движение из набора. Подход обучили на графе движений, который собрали из восьмичасовой записи движений. Движения включали в себя танцы, карате, жесты руками, хождение и бег.

    Обзор системы для обучения динамического контроллера для широкого набора поведений
    Обзор системы во время выполнения