fbpx
  • DeepLabCut — новый инструмент для оценки позы и захвата движений

    DeepLabCut

    Исследователи из Гарварда разработали DeepLabCut — инструмент для автоматической оценки позы и разметки движущихся частей тела животных и людей. Обычно, чтобы отследить движения, исследователи записывают видео и вручную покадрово размечают изображения. В новом подходе учёные предлагают технологию для автоматизации и ускорения этого процесса.

    Идея состояла в том, чтобы уловить крошечные движения, которые вместе составляют более заметное. DeepLabCut можно применять в биомеханике для изучения работы мозга животных, а также в физиотерапии и спорте.

    «С помощью видео мы можем легко наблюдать и регистрировать поведение животных в различных условиях, но извлечение конкретных аспектов поведения для дальнейшего анализа может быть трудоемким», — отметили разработчики в статье.

    Как работает DeepLabCut

    DeepLabCut позволяет автоматически выполнять оценку позы и отслеживать движения. Для работы сначала загружаются размеченные изображения интересующего объекта, например, белки или крысы, и видео с тем, как она двигается. После этого загружают видео с нужной активностью (например, белка грызёт орех). Программа разметит части тела белки и будет отслеживать движения автоматически. Даже когда обозначено ~ 200 кадров, алгоритм обеспечивает отслеживаемость, которая сопоставима с точностью человеческой разметки.

    Крыса

    odortrail

    detect

    Муха

    animals detection movements

    Лошадь

    horse1

    Человек

    human movements

    Команда обучила нейросеть выполнять оценку позы и определять части тела на сотнях изображений из набора ImageNet, используя графические процессоры NVIDIA GeForce GTX 1080 Ti и NVIDIA TITAN Xp с расширенной cuDNN и библиотеку TensorFlow.

    Инструмент доступен open source.