Группа исследователей из Tencent AI Labs разработали нейросеть, которая генерирует 3D-модель лица человека по селфи. Модель принимает на вход селфи человека в формате RGB-D изображений с разных ракурсов. На выходе модель отдает сгенерированную 3D-модель лица.
Подробнее про модель
Модель учится рендерить снимки лица с разных ракурсов в 3D-модель. Если задеплоить модель на смартфон, то пользователю достаточно повернуть головой в разные стороны напротив камеры, чтобы нейросеть получила видеозапись с необходимыми кадрами для генерации 3D-модели.
На первом этапе кадры входной видеозаписи фильтруются так, что бы остались только изображения лица в высоком разрешении, которые могут быть использованы нейросетью.
Выбор подходящих кадров является двухэтапным процессом. На первом этапе используется метод распознавания ключевых точек лица, в соответствии с которым снимки группируются. На втором этапе оцениваются по качеству данных.
Отфильтрованные кадры поступают на вход 3DMM модели. 3DMM распознает ключевые точки лица. Затем разметка поступает на вход дифференцируемому рендереру. На последнем шаге генерируется итоговая 3D-модель.
