fbpx
  • DigiDoug: фотореалистичная 3D-модель человека выступила на TED

    DigiDoug — это первая 3-D модель человека, которая выступила на TED Talks. Выступление доступно по ссылке. DigiDoug восстанавливает лицевую анимацию по записи с камеры, которая крепится к голове. 

    DigiDoug представляет собой цифровую версию реального человека. Dr. Doug Roble является старшим директором Software R&D отдела в Digital Domain. В Digital Domain делали визуальные эффекты для таких фильмов, как The Curious Case of Benjamin Button, Maleficent, Disney’s The Beauty и the Beast and Avengers: Endgame.

    Нейросеть динамически восстанавливает 3D-модель человека на основе распознавания движения лицевых мышц. С помощью данных с камеры нейросеть распознает и восстанавливает эмоции и действия человека. Для обучения нейросети разработчики использовали NVIDIA RTX.

    Пример того, как выглядит костюм для распознавания движений

    Создание реалистичных виртуальных людей в фильмах и на телевидении — это актуальное направление исследований. Обычно на создание таких персонажей тратятся тысячи часов. Разработка виртуального человека со всеми физическими деталями задействует работу сотни художников. С помощью машинного обучения этот процесс можно оптимизировать. Именно эту задачу решают в Digital Domain. 

    Чтобы обучить нейросеть восстанавливать модель человека, разработчики собрали тысячи фотографий лица Roble. Фотографии были сняты с разных углов и при разном освещении. Это позволило нейросети наиболее точно воспроизвести виртуальную копию человека.

    Нейросеть работает в реальном времени и обрабатывает данные с специального костюма. Костюм собирает данные о выражении лица человека в отдельный промежуток времени. Нейросеть динамически предсказывает 3D-модель человека.