fbpx
  • RobotriX — датасет для обучения роботов взаимодействию с объектами в помещениях

    RobotriX — новый датасет для обучения роботов взаимодействию с объектами в помещениях. Набор данных состоит из гиперреалистичных внутренних сцен, которые исследуются агентами-роботами. Роботы реалистично взаимодействуют с объектами в моделируемом мире. Сцены и роботы сгенерированы с помощью движка Unreal Engine в шлеме виртуальной реальности, который отслеживает взгляд человека. Человек перемещает робота и использует контроллеры для захвата предметов. 

    Особенности:

    • это самый большой и наиболее реалистичный синтетический набор данных на сегодняшний день;
    • он содержит плавную интеграцию реалистичных роботов и сцен в виртуальную реальность для простого создания правдоподобных последовательностей с взаимодействиями;
    • в нем предсталены видеопоследовательности в нескольких форматах с ground truth для решения широкого спектра проблем.

    Набор данных состоит из  последовательностей движений, записанных в  комнатных макетах со скоростью продолжительностью от одной до пяти минут. В общей сложности датасет около  миллионов отдельных кадров. Для каждого из этих кадров предоставлены 3D позы для камер, объектов и джоинтов, RGB изображение, карты глубины и 2D-маски объектов.

    Для генерации данных ученые создали инструмент UnrealROX. Они использовали движок Unreal Engine 4 для создания фотореалистичных RGB-изображений и базу со сценами комнат компании UE4Arch. В результате была получена среда виртуальной реальности для генерации синтетических данных для различных задач роботизированного зрения. В такой среде человек-оператор управляет роботом в виртуальной реальности свободно перемещаясь и взаимодействуя с объектами, как если бы это был робот в реальном мире.

    Оператор управляет телом робота с помощью VR-шлемов Oculus Rift и HTC Vive Pro. Все последовательности действий и данные о сцене записываются и сохраняются. Информация о сцене выводится отдельно для каждого кадра, поэтому ее можно воспроизводить в автономном режиме для генерации новых сцен.

    В будущем разработчики планируют добавлять больше данных, чтобы расширять круг возможных взаимодействий. Они собираются сконцентрироваться на добавлении нежестких объектов (жидкость, одежда и т.д.), которые можно сгенерировать с помощью Unreal Engine 4. Почитать больше о датасете и инструментах можно здесь. GitHub проекта здесь.