RobotriX — новый датасет для обучения роботов взаимодействию с объектами в помещениях. Набор данных состоит из гиперреалистичных внутренних сцен, которые исследуются агентами-роботами. Роботы реалистично взаимодействуют с объектами в моделируемом мире. Сцены и роботы сгенерированы с помощью движка Unreal Engine в шлеме виртуальной реальности, который отслеживает взгляд человека. Человек перемещает робота и использует контроллеры для захвата предметов.
Особенности:
- это самый большой и наиболее реалистичный синтетический набор данных на сегодняшний день;
- он содержит плавную интеграцию реалистичных роботов и сцен в виртуальную реальность для простого создания правдоподобных последовательностей с взаимодействиями;
- в нем предсталены видеопоследовательности в нескольких форматах с ground truth для решения широкого спектра проблем.
Набор данных состоит из последовательностей движений, записанных в комнатных макетах со скоростью продолжительностью от одной до пяти минут. В общей сложности датасет около миллионов отдельных кадров. Для каждого из этих кадров предоставлены 3D позы для камер, объектов и джоинтов, RGB изображение, карты глубины и 2D-маски объектов.
Для генерации данных ученые создали инструмент UnrealROX. Они использовали движок Unreal Engine 4 для создания фотореалистичных RGB-изображений и базу со сценами комнат компании UE4Arch. В результате была получена среда виртуальной реальности для генерации синтетических данных для различных задач роботизированного зрения. В такой среде человек-оператор управляет роботом в виртуальной реальности свободно перемещаясь и взаимодействуя с объектами, как если бы это был робот в реальном мире.
Оператор управляет телом робота с помощью VR-шлемов Oculus Rift и HTC Vive Pro. Все последовательности действий и данные о сцене записываются и сохраняются. Информация о сцене выводится отдельно для каждого кадра, поэтому ее можно воспроизводить в автономном режиме для генерации новых сцен.
В будущем разработчики планируют добавлять больше данных, чтобы расширять круг возможных взаимодействий. Они собираются сконцентрироваться на добавлении нежестких объектов (жидкость, одежда и т.д.), которые можно сгенерировать с помощью Unreal Engine 4. Почитать больше о датасете и инструментах можно здесь. GitHub проекта здесь.