fbpx
  • В FAIR применили DensePose для распознавания позы шимпанзе

    Исследователи из FAIR перенесли существующую модель для распознавания позы человека на шимпанзе. Модель основывается на архитектуре DensePose и R-CNN. Помимо модели, исследователи опубликовали два датасета с размеченными позами шимпанзе. 

    Описание проблемы

    Последние исследования показали, что распознать позу человека возможно с высокой точностью при наличии большого набора размеченных данных. Можно применить тот же подход к задаче распознавания позы животных. Однако процесс сбора и разметки данных делает задачу ресурсоемкой. Исследователи показывают, что для шимпанзе возможно перенести часть знаний из существующих моделей распознавания поз людей. Чтобы осуществить перенос знаний с моделей, обученных на данных людей, на изображения шимпанзе, исследователи

    • Используют DensePose нейросеть для распознавания позы человека;
    • Вводят multi-head R-CNN, которая облегчает перенос знаний о задачах распознавания между разными классами объектов;
    • Размечают изображения шимпанзе с помощью uncertainty heads

    Шимпанзе были выбраны из-за геометрической схожести структуры тела с человеческим.

    Что внутри модели

    Цель работы — в том, чтобы разработать надстройку над DensePose, которая позволила бы обучать модель для новых классов с минимальными затратами на разметку. Существующие размеченные датасеты для распознавания объектов, сегментации и оценки позы являются источником данных для тестирования такой надстройки.

    Исследователи взяли за основу оригинальную DensePose архитектуру, разметили изображения с шимпанзе и 3D модель шимпанзе и соотнесли DensePose, обученную на человеческих данных, с DensePose, обученной на данных шимпанзе. Подробнее о модификациях архитектуры можно почитать в статье.

    Сравнение оригинальной и предложенной архитектур обучения DensePose

    Оценка работы модели

    Чтобы убедиться, что модификации архитектуры были оправданы, исследователи провели ablation тест на датасете DensePose-COCO. Ниже видно, что итоговая предложенная модель обходит оригинальную DensePose-RCNN по Average Precision метрике.

    Сравнение вариаций DensePose на DensePose-COCO minival

    Оставить комментарий

    * Обязательные поля