Rel3D — это крупномасштабный датасет с разметкой пространственных отношений в 3D. Сборкой датасета занимались исследователи из University of Michigan и Princeton University.
Проблема существующих датасетов
Существующие датасеты с разметкой 3D отношений объектов имеют недостатки: ограниченный масштаб, низкое разнообразие и недостаточную ручную разметку. Rel3D обходит существующие ограничения. Кроме того, в датасете содержатся пары минимально отличных сцен, где сцены совпадают во всем, кроме отношения объектов на изображении.
Подробнее про Rel3D
Данные для Rel3D собирали в два этапа. Вся разметка данных ручная. Каждый пример сцены в датасете состоит из двух объектов: субъекта и объекта, которые как-то относятся друг к другу на сцене. Итоговый набор данных состоит из 9990 сцен и 27336 изображений. Всего на изображения располагаются объекты из 67 категорий.
При тестировании моделей на датасете наиболее успешной моделью оказался 2D детектор объектов. При этом люди справились с оценкой отношений объектов с точностью в 94%. Это говорит о том, что Rel3D является достаточно сложным для обучения моделей, что потенциально снижает вероятность переобучения.
