С ростом интереса к VR и персонализированному игровому опыту, набирают популярность приложения для создания 3D-аватаров. Команда приложения Pinscreen использует технологии машинного обучения, чтобы получать высококачественные анимированные аватары из одной фотографии.
Синтез изображения с помощью paGAN
Предыдущим методам для создания анимированного 3D-аватара требовалось несколько исходных фотографий человека с разных ракурсов. Новый подход позволяет создавать реалистичный аватар, используя одно селфи. Трекер VGPT захватывает лицо и обеспечивает точность определения модели головы в 3D и её положения относительно камеры. Затем генеративно-состязательная нейросеть paGAN рендерит фотореалистичный аватар на основе простой модели, захваченной трекером. Примеры работы алгоритма можно посмотреть на видео.
Ещё одна особенность разработки — сеть генерирует реалистичное отображение внутренней части рта и глаз. Эти динамические текстуры также используются для создания анимации областей рта и глаз.
Авторы применяют paGAN для создания 3D-аватаров для игр, дополненной и виртуальной реальности. Разработка будет представлена на конференции SIGGRAPH ASIA 2018, которая пройдет в Токио с 4 по 7 декабря.
