FaceShifter — это двухступенчатый нейросетевой фреймворк для реалистичного переноса лица на изображение человека. Модель устойчива к окклюзии лиц на входных изображениях. Исследователи заявляют, что FaceShifter лучше, чем предыдущие подходы, сохраняет черты целевой личности в сгенерированном изображении.
Предыдущие подходы для подмены лиц использует ограниченную информацию из целевого изображения при генерации подмененного изображения. FaceShifter на первом этапе генерирует подмененное изображение с помощью адаптивного внедрения признаков из целевого изображения. Исследователи представляют новый энкодер атрибутов, который извлекает многоуровневые признаки из изображения целевого лица. Кроме этого, генератор в модели основывается на Adaptive Attentional Denormalization (AAD) слоях. Такая архитектура генератора позволяет адаптивно интегрировать черты целевого лица в итоговое изображение.
Второй этап модель решает проблему частичной окклюзии лица на изображении. На этом этапе обучается нейросеть Heuristic Error Acknowledging Refinement Network (HEAR-Net). Модель обучается восстанавливать нереалистичные части изображения в self-supervised сеттинге. HEAR-Net не требует ручной разметки для обучения.
Что внутри FaceShifter
FaceShifter состоит из двух подсетей:
- AEI-Net, которая генерирует изображение целевого лица;
- HEAR-Net, которая избавляется от артефактов на сгенерированном изображении
AEI-Net состоит из энкодера личности (Identity Encoder), многоуровневого энкодера атрибутов (Multi-level Attributes Encoder) и генератора (AAD-Generator). AAD-Generator интегрирует информацию о личности и атрибутах на нескольких уровнях с помощью блоков AAD ResBlks. Такие блоки основываются на AAD слоях.
Тестирование работы модели
Исследователи сравнили фреймворк с state-of-the-art моделями для подмены лица: FaceSwap, Nirkin et al., DeepFakes и IPGAN. Модели тестировали на датасете FaceForensics++. FaceShifter лучше остальных моделей справляется с сохранением формы лица на входном изображении и более точно передает атрибуты целевого изображения. Под атрибутами понимаются освещение и разрешение изображения.
