![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-10-v-11.20.06-min.png)
Исследователи опубликовали нейросеть, которая генерирует изображения игрового персонажа на основе одной фотографии. Задача сводится к поиску наиболее близких черт лица в пространстве всех возможных черт лица. Пользователь может модифицировать сгенерированного персонажа. Подход внедрили в игру, и количество использований превысило 1 миллион.
Чтобы эффективно минимизировать расстояние между сгенерированным лицом и реальным, исследователи вводят две функции ошибки. Первая — “discriminative loss”. Вторая — “facial content loss”. Так как рендеринг игрового движка не дифференцируем, генеративная нейросеть является “имитатором”. Имитатор повторяет работу игрового движка, чтобы параметры можно было оптимизировать с помощью градиентного спуска. Результаты экспериментов показывают, что метод выдает изображения персонажа, схожие с входным изображением. Сохраняются как глобальные детали лица, так и локальные.
Что внутри
Пайплайн обучения состоит из имитатора G(x) и модуля для извлечения свойств из изображения F(y). Цель имитатора — симулировать работу игрового движка. Он принимает на вход параметры лица и генерирует изображение лица y. Модуль извлечения свойств определяет пространство свойств, в котором измеряется схожесть черт лица. В модуле извлечения свойств производится поиск наиболее близких к входному изображению черт лица.
![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-10-v-11.17.53-min-570x195.png)
Для обучения имитатора используется сверточная нейросеть. Структура нейросети схожа с DCGAN и состоит из 8 сверточных слоев. После обучения имитатора, используются 2 функции потерь, чтобы оценить схожесть между чертами лица на изображениях.
Сравнение с другими моделями
Метод сравнили с конкурирующими подходами для переноса стиля и восстановления модели лица человека: Global style, Local style и 3DMM-CNN. Ниже видно, что предложенный подход выдает более реалистичные результаты.
![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-10-v-11.21.42-min-570x210.png)
![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-10-v-11.20.51-min-570x93.png)