COCO-WholeBody — это первый датасет для оценки позы всего тела. COCO-WholeBody является расширением датасета COCO 2017 с теми же разбивками на тренировочную и валидационную выборки, как в COCO. Для каждого человека доступны 4 типа границ объектов: бокс человека, бокс лица, бокс левой руки и бокс правой руки. Кроме того, 133 ключевые точки: 17 для тела, 6 для ног, 68 для лица и 42 для рук. Датасет доступен исключительно для исследовательских целей. Коммерческое использование запрещено.
Как собирали датасет
Процесс разметки состоял из следующих шагов:
- Для каждого человека вручную разметили границы лица, левой руки и правой руки;
- Оценка качества: отдельная группа разметчиков проверяла качество разметки;
- Для каждых размеченных лица и руки использовали предобученную модель для разметки ключевых точек. В качестве архитектуры детектора использовали HRNetV2;
- Затем предсказанная разметка проверялась вручную. После этого отдельно проверяли качество ручной разметки
Сравнение и тестирование
Ниже видно, что в COCO-WholeBody собрана более разнообразная разметка, чем в альтернативных датасетах.
