Facebook Reality Labs и Oculus разработали первую нейросеть, которая отслеживает движения руки в VR и опирается на данные с монохромных камер. Система не использует методы распознавания глубины изображения и дополнительного оборудования (напр., специальные перчатки). Использовать систему возможно будет после в следующем обновлении для Oculus Quest.Точное распознавание движений рук позволит улучшить опыт использования VR-устройств.
Данные собираются с 4-х камер, которые предустановлены в Oculus Quest. Исследователи заявляют, что точность модели превышает предыдущие методы, которые основаны на определении глубины изображения. Обработка данных происходит полностью в устройстве. Система оптимизирована так, чтобы поддерживать жесты для взаимодействия: указать и зажать палец, чтобы выбрать.
Как это работает
Нейросеть используется, чтобы предсказать расположение рук человека и разметку рук по суставам. Эта разметка затем используется для реконструкции позы рук и пальцев человека. Результат рендерится в 3D модель, которая включает в себя конфигурацию и геометрию поверхности рук. API позволят разработчикам использовать 3D модели для создания новых механизмов взаимодействия в своих приложениях.
Одна нейросетевая модель выдает устойчивые предсказания позы руки. Эта модель уменьшается в размере с помощью квантизации и позволяет использование системы на мобильном процессоре в реальном времени. Детали архитектуры разработчики не разглашали.
