OpenRooms — open-source датасет и набор инструментов для управления объектами, материалами, освещением и другими параметрами 3D-сцен интерьеров помещений. Датасет нацелен для использования в приложениях дополненной реальности и робототехники.
OpenRooms использует синтетические данные для визуализации 3D-сцен, что обеспечивает точный и недорогой способ корректного отображения геометрии, материалов и освещения. Данные могут быть использованы для обучения нейронных сетей, которые оценивают эти параметры на реальных изображениях, позволяя вставлять фотореалистичные объекты и редактировать текстуры и цвет объектов.
Датасет позволяет сфотографировать комнату, вставить виртуальные объекты и манипулировать ими. Помимо этого, Open Rooms позволяет увидеть, как каждый объект может выглядеть днем при естественном освещении или при искусственном освещении в ночное время.
С использованием датасета можно решать такие задачи робототехники, как поиск оптимального маршрута при перемещении робота по поверхностям с различными коэффициентами трения. Ранее подобный функционал был запатентован или недоступен одновременно с фотореалистичными визуализациями.
Создатели Open Rooms, ученые из Калифорнийского университета, планируют на его основе создать платформу для массового использования, с помощью которой пользователи смогут использовать свои мобильные телефоны или 3D-сканеры для разработки собственных датасетов и приложений дополненной реальности на основе 3D-сканов и фотографий.
