Исследователи из Университета Дьюка и Гарвардского университета предоставили новую технологию для наблюдения за действиями животных. В разработку входят база данных Rat 7M движений крыс с сопровождающим цветным видео и модульная архитектура DANNCE на основе 3D сверточной трехмерной нейронной сети. Технология открывает двери для тщательных и всесторонних исследований, например, для наблюдения за функцией двигательной системы в здоровом и больном состоянии.
Актуальность
Поведение и движения животных обусловлено инструкциями мозга. Всестороннее описание действий требует точных трехмерных измерений. На данный момент уже существуют технологии, но на основе двумерных сверточных нейронных сетей. Их прогнозы могут быть преобразованы в 3D с использованием нескольких независимых представлений. Однако, 2D сверточные сети не понимают позы животных в 3D. Двумерная природа систем делает их менее способными к количественной оценке естественного поведения в трехмерном пространстве. Данная работа является продолжением исследования мониторинга поведения CAPTURE – система детектирует движения 24/7 и позволяет создать «атлас поведения».
Подробнее о технологии
Сбор данных для датасета происходил так: исследователи собрали 7 миллионов кадров действий крыс и синхронизировали цветное видео с помощью метода «захват движения». Адаптация захвата движения к действиям животных происходила с помощью прикрепления маркеров к телу крысы. Трехмерную запись осуществляли 12 камер захвата движения и 6 цветных видеокамер. DANNCE по своей сущности – трехмерная сверточная нейронная сеть, которая вычисляет трехмерные позиции определяемых пользователем анатомических ориентиров на поведении животных из видеороликов, снятых под разными углами. Особенность системы по сравнению с существующими подходами к обнаружению ключевых точек в 2D у животных это то, что она может узнавать об особенностях трехмерного изображения и о том, как камеры и ориентиры соотносятся друг с другом в пространстве.
По словам одного из разработчиков, система сработала на крысах, у которых не было маркеров, и она может отслеживать движения всего лишь на нескольких дополнительных примерах.
Инструмент способен свободно зафиксировать поведение животного в движении в сложной окружающей среде и точно восстановить его трехмерную позу с нескольких видеокамер и без маркеров. Технологию возможно адаптировать под другие виды животных. DANNCE предоставляется сообществу как пакет Python с открытым исходным кодом вместе с графическим пользовательским интерфейсом для маркировки 3D данных.
