3DPeople — это первый датасет с изображениями 3D моделей одетых людей, в котором содержится отдельно геометрическое представление одежды. Датасет включает в себя 2.5 миллиона изображений с 80 людьми, которые совершают разные действия: 40 мужчин и 40 женщин. В 3DPeople дополнительно содержатся 3D скелет человека, карта глубины изображения, оптический поток, параметры камеры, разметка частей тела и одежды. Сырые файлы 3D моделей не предоставляются. Это связано с сохранением авторских прав. Исследователи предлагают нейросеть GimNet для распознавания формы 3D моделей одетых людей.
Последние достижения в распознавании формы 3D человека, которые основываются на представлениях моделей обнаженных человеческих тел. При этом такие архитектуры ограничены в распознавании формы одетых 3D людей. Исследователи предлагают архитектуру GimNet для восстановления формы 3D людей. Они обучают модель на датасете 3DPeople, который также собрали вручную.
Задача предсказания формы одетого человека заключается в том, что бы воспроизвести состояние тела человека без одежды. Нейросеть получает на вход изображения 3D модели одетого человека с разных ракурсов. На выходе нейросеть отдает сгенерированную 3D сетку тела человека без одежды.
Что внутри датасета
3DPeople содержит 2.5 миллиона реалистичных изображений 640 × 480 3D моделей людей. Выборка моделей людей делится поровну на мужчин и женщин: 40 на 40. Модели на изображениях совершают 70 различных движений. Каждая пара модель-движение освещается с 4 разных ракурсов.
Для каждого ракурса текстура одежды, параметры освещения и задний план случайно изменяются. Каждый кадр содержит:
- текстурированную 3D сетку обнаженного и одетого тела;
- 3D скелет;
- сегментацию частей тела и элементов одежды;
- карту глубины;
- оптический поток;
- параметры камеры
Архитектура GimNet
Предложенная нейросеть состоит из двух основных частей: регрессор геометрии изображения и дискриминатор, который оценивает локальную и глобальную последовательность сгенерированной формы.
