fbpx

DeepLabCut — новый инструмент для оценки позы и захвата движений

DeepLabCut

Исследователи из Гарварда разработали DeepLabCut — инструмент для автоматической оценки позы и разметки движущихся частей тела животных и людей. Обычно, чтобы отследить движения, исследователи записывают видео и вручную покадрово размечают изображения. В новом подходе учёные предлагают технологию для автоматизации и ускорения этого процесса.

Идея состояла в том, чтобы уловить крошечные движения, которые вместе составляют более заметное. DeepLabCut можно применять в биомеханике для изучения работы мозга животных, а также в физиотерапии и спорте.

«С помощью видео мы можем легко наблюдать и регистрировать поведение животных в различных условиях, но извлечение конкретных аспектов поведения для дальнейшего анализа может быть трудоемким», — отметили разработчики в статье.

Как работает DeepLabCut

DeepLabCut позволяет автоматически выполнять оценку позы и отслеживать движения. Для работы сначала загружаются размеченные изображения интересующего объекта, например, белки или крысы, и видео с тем, как она двигается. После этого загружают видео с нужной активностью (например, белка грызёт орех). Программа разметит части тела белки и будет отслеживать движения автоматически. Даже когда обозначено ~ 200 кадров, алгоритм обеспечивает отслеживаемость, которая сопоставима с точностью человеческой разметки.

Крыса

odortrail

detect

Муха

animals detection movements

Лошадь

horse1

Человек

human movements

Команда обучила нейросеть выполнять оценку позы и определять части тела на сотнях изображений из набора ImageNet, используя графические процессоры NVIDIA GeForce GTX 1080 Ti и NVIDIA TITAN Xp с расширенной cuDNN и библиотеку TensorFlow.

Инструмент доступен open source.