DigiDoug — это первая 3-D модель человека, которая выступила на TED Talks. Выступление доступно по ссылке. DigiDoug восстанавливает лицевую анимацию по записи с камеры, которая крепится к голове.
DigiDoug представляет собой цифровую версию реального человека. Dr. Doug Roble является старшим директором Software R&D отдела в Digital Domain. В Digital Domain делали визуальные эффекты для таких фильмов, как The Curious Case of Benjamin Button, Maleficent, Disney’s The Beauty и the Beast and Avengers: Endgame.
Нейросеть динамически восстанавливает 3D-модель человека на основе распознавания движения лицевых мышц. С помощью данных с камеры нейросеть распознает и восстанавливает эмоции и действия человека. Для обучения нейросети разработчики использовали NVIDIA RTX.
Создание реалистичных виртуальных людей в фильмах и на телевидении — это актуальное направление исследований. Обычно на создание таких персонажей тратятся тысячи часов. Разработка виртуального человека со всеми физическими деталями задействует работу сотни художников. С помощью машинного обучения этот процесс можно оптимизировать. Именно эту задачу решают в Digital Domain.
Чтобы обучить нейросеть восстанавливать модель человека, разработчики собрали тысячи фотографий лица Roble. Фотографии были сняты с разных углов и при разном освещении. Это позволило нейросети наиболее точно воспроизвести виртуальную копию человека.
Нейросеть работает в реальном времени и обрабатывает данные с специального костюма. Костюм собирает данные о выражении лица человека в отдельный промежуток времени. Нейросеть динамически предсказывает 3D-модель человека.
