fbpx
  • COCO-WholeBody: первый датасет для оценки позы всего тела

    COCO-WholeBody — это первый датасет для оценки позы всего тела. COCO-WholeBody является расширением датасета COCO 2017 с теми же разбивками на тренировочную и валидационную выборки, как в COCO. Для каждого человека доступны 4 типа границ объектов: бокс человека, бокс лица, бокс левой руки и бокс правой руки. Кроме того, 133 ключевые точки: 17 для тела, 6 для ног, 68 для лица и 42 для рук. Датасет доступен исключительно для исследовательских целей. Коммерческое использование запрещено.

    Пример разметки точек тела

    Как собирали датасет

    Процесс разметки состоял из следующих шагов:

    1. Для каждого человека вручную разметили границы лица, левой руки и правой руки;
    2. Оценка качества: отдельная группа разметчиков проверяла качество разметки;
    3. Для каждых размеченных лица и руки использовали предобученную модель для разметки ключевых точек. В качестве архитектуры детектора использовали HRNetV2;
    4. Затем предсказанная разметка проверялась вручную. После этого отдельно проверяли качество ручной разметки

    Сравнение и тестирование

    Ниже видно, что в COCO-WholeBody собрана более разнообразная разметка, чем в альтернативных датасетах.

    Сравнение с альтернативными датасетами для 2D оценки ключевых точек тела на изображении
    Сравнение результатов state-of-the-art моделей на датасете COCO-WholeBody. Метрика — Average Precision