fbpx
  • 3DPEOPLE: датасет с 3D моделями одетых людей

    3DPeople — это первый датасет с изображениями 3D моделей одетых людей, в котором содержится отдельно геометрическое представление одежды. Датасет включает в себя 2.5 миллиона изображений с 80 людьми, которые совершают разные действия: 40 мужчин и 40 женщин. В 3DPeople дополнительно содержатся 3D скелет человека, карта глубины изображения, оптический поток, параметры камеры, разметка частей тела и одежды. Сырые файлы 3D моделей не предоставляются. Это связано с сохранением авторских прав. Исследователи предлагают нейросеть GimNet для распознавания формы 3D моделей одетых людей.

    Последние достижения в распознавании формы 3D человека, которые основываются на представлениях моделей обнаженных человеческих тел. При этом такие архитектуры ограничены в распознавании формы одетых 3D людей. Исследователи предлагают архитектуру GimNet для восстановления формы 3D людей. Они обучают модель на датасете 3DPeople, который также собрали вручную.

    Задача предсказания формы одетого человека заключается в том, что бы воспроизвести состояние тела человека без одежды. Нейросеть получает на вход изображения 3D модели одетого человека с разных ракурсов. На выходе нейросеть  отдает сгенерированную 3D сетку тела человека без одежды.

    Что внутри датасета

    3DPeople содержит 2.5 миллиона реалистичных изображений 640 × 480 3D моделей людей. Выборка моделей людей делится поровну на мужчин и женщин: 40 на 40. Модели на изображениях совершают 70 различных движений. Каждая пара модель-движение освещается с 4 разных ракурсов. 

    Для каждого ракурса текстура одежды, параметры освещения и задний план случайно изменяются. Каждый кадр содержит:

    • текстурированную 3D сетку обнаженного и одетого тела;
    • 3D скелет;
    • сегментацию частей тела и элементов одежды;
    • карту глубины;
    • оптический поток;
    • параметры камеры

    Архитектура GimNet

    Предложенная нейросеть состоит из двух основных частей: регрессор геометрии изображения и дискриминатор, который оценивает локальную и глобальную последовательность сгенерированной формы.

    Визуализация составных частей модели