Исследователи из Facebook Reality Labs предложили подход для более точного трекинга лица и взгляда. Внутри системы встроена нейросеть, которая совместно выучивается генерировать лицо пользователя и его глаза в 3D. Модель позволяет учитывать взгляд пользователя при использовании VR гарнитуры. Одним из применений такой модели являются виртуальные трансляции. Количественные эксперименты показывают, что метод более точно реконструирует 3D модель лица человека, включая глаза.
Описание проблемы
Текущие системы виртуальной реальности искажают направление взгляда. Разработчики предлагают систему для взаимодействия лицом к лицу в виртуальной реальности. Система фокусируются на передаче фотореалистичного взгляда и сохранения зрительного контакта между собеседниками. Чтобы сделать это, сначала создается 3D виртуальный аватар пользователя, который может быть анимирован с помощью камер на VR гарнитуре. Камеры отслеживают взгляд, и затем эти данные используются для воспроизведения взгляда у 3D аватара.
Как работает метод
Нейросеть принимает на вход четыре объекта: закодированное выражение лица без учета взгляда, векторы взгляда для правого и левого глаза и ракурс, с которого снято лицо. На выходе модель отдает геометрию и текстуре для лица, которые зависят от ракурса, с независимыми правым и левым глазами. Кроме того, модель выдает текстуру для глаза. Полностью глаз и лицо рендерятся с помощью дифференцирования. Система оптимизируется так, что бы генерируемая 3D модель лица корректно конвертировалась во входное изображение лица.
