Исследователи из Гарварда разработали DeepLabCut — инструмент для автоматической оценки позы и разметки движущихся частей тела животных и людей. Обычно, чтобы отследить движения, исследователи записывают видео и вручную покадрово размечают изображения. В новом подходе учёные предлагают технологию для автоматизации и ускорения этого процесса.
Идея состояла в том, чтобы уловить крошечные движения, которые вместе составляют более заметное. DeepLabCut можно применять в биомеханике для изучения работы мозга животных, а также в физиотерапии и спорте.
«С помощью видео мы можем легко наблюдать и регистрировать поведение животных в различных условиях, но извлечение конкретных аспектов поведения для дальнейшего анализа может быть трудоемким», — отметили разработчики в статье.
Как работает DeepLabCut
DeepLabCut позволяет автоматически выполнять оценку позы и отслеживать движения. Для работы сначала загружаются размеченные изображения интересующего объекта, например, белки или крысы, и видео с тем, как она двигается. После этого загружают видео с нужной активностью (например, белка грызёт орех). Программа разметит части тела белки и будет отслеживать движения автоматически. Даже когда обозначено ~ 200 кадров, алгоритм обеспечивает отслеживаемость, которая сопоставима с точностью человеческой разметки.
Крыса
Муха
Лошадь
Человек
Команда обучила нейросеть выполнять оценку позы и определять части тела на сотнях изображений из набора ImageNet, используя графические процессоры NVIDIA GeForce GTX 1080 Ti и NVIDIA TITAN Xp с расширенной cuDNN и библиотеку TensorFlow.
Инструмент доступен open source.
