MeInGame — это нейросетевая модель, которая генерирует персонажа в игре по одному изображению лица. Нейросеть предсказывает форму лица и его текстуру. Итоговое предсказание можно внедрить в большинство существующих 3D игр. По результатам экспериментов, модель обходит альтернативные подходы для генерации персонажей.
Зачем это нужно
Текущие системы для кастомизации игровых персонажей либо требуют от пользователя ручной настройки игрока, либо ограничены в формах лица и текстурах. Методы, которые основываются на архитектуре 3D Morphable Face Model (3DMM), могут точно восстанавливать 3D модели лица из изображения. Однако сетки, которые такие модели генерируют, отличаются от сеток, которые используются в играх. Это усложняет использование таких моделей в компьютерных играх.
Кроме того, чтобы обучиться, текущие модели требуют большое количество данных лицевой текстуры. Сбор таких датасетов является трудоемким и долгим. MeInGame требует меньшего количества данных для обучения и может быть интегрирована в видеоигры.
Подробнее про метод
MeInGame состоит из трех частей:
- Метод для сбора текстур, который не является трудозатратным;
- Алгоритм переноса формы лица из формата 3DMM в формат, который используется в играх;
- Пайплайн для обучения моделей 3D восстановления лица игровых персонажей
Предложенный метод может не только генерировать детализированные и реалистичные лица игроков, сходные с входными изображениями, но и делать модель устойчивой к освещению и окклюзиям. Исходный код проекта и датасет доступны в открытом репозитории на GitHub.
