Facebook Reality Labs и Oculus разработали первую нейросеть, которая отслеживает движения руки в VR и опирается на данные с монохромных камер. Система не использует методы распознавания глубины изображения и дополнительного оборудования (напр., специальные перчатки). Использовать систему возможно будет после в следующем обновлении для Oculus Quest.Точное распознавание движений рук позволит улучшить опыт использования VR-устройств.
Using deep neural networks for accurate hand-tracking on Oculus Quest
Facebook Reality Labs researchers used deep neural networks to develop a fully articulated hand-tracking system for VR that relies only on monochrome cameras. It will be deployed as a software update for the Oculus Quest headset. https://ai.facebook.com/blog/hand-tracking-deep-neural-networks/
Опубликовано Facebook AI Среда, 25 сентября 2019 г.
Данные собираются с 4-х камер, которые предустановлены в Oculus Quest. Исследователи заявляют, что точность модели превышает предыдущие методы, которые основаны на определении глубины изображения. Обработка данных происходит полностью в устройстве. Система оптимизирована так, чтобы поддерживать жесты для взаимодействия: указать и зажать палец, чтобы выбрать.
Как это работает
Нейросеть используется, чтобы предсказать расположение рук человека и разметку рук по суставам. Эта разметка затем используется для реконструкции позы рук и пальцев человека. Результат рендерится в 3D модель, которая включает в себя конфигурацию и геометрию поверхности рук. API позволят разработчикам использовать 3D модели для создания новых механизмов взаимодействия в своих приложениях.
Одна нейросетевая модель выдает устойчивые предсказания позы руки. Эта модель уменьшается в размере с помощью квантизации и позволяет использование системы на мобильном процессоре в реальном времени. Детали архитектуры разработчики не разглашали.
