GIF — это нейросетевая модель для генерации лиц, которая позволяет контролировать характеристики генерируемых изображений. GIF состоит из генеративно-состязательной сети StyleGAN2, предсказания которой обусловлены отрендеренной геометрией лица из FLAME. На основе параметров формы, позы, выражения, внешнего вида, освещения и дополнительного вектора стиля GIF генерирует фотореалистичные изображения лица. Исследователи опубликовали обученную модель, исходный код и данные для воспроизведения экспериментов.
В чем проблема
Фотореалистичная визуализация и анимация выразительных человеческих лиц является открытой задачей. Методы 3D моделирования позволяют контролировать параметры модели, однако генерируют нереалистичные изображения. Альтернативный подход — это генеративные модели двумерных изображений с архитектурой GAN. GAN модели генерируют реалистичные изображения, однако не позволяют контролировать параметры изображения.
GIF дает возможность интерактивно генерировать фотореалистичные изображения человеческих лиц.
