Разработчики из NVIDIA опубликовали GAN, которая генерирует изображения животных на основе выражения и позы животного на входном изображении. Приложение GANimal позволяет загрузить фото животного. Нейросеть переносит выражение и позу животного на других животных. Модель в GANimal основывается на архитектуре FUNIT.
Команда из NVIDIA обучили нейросеть воспроизводить выражение и позу животного на лицах других животных. В качестве модели использовалась генеративно-состязательная нейросеть (GAN). Алгоритм FUNIT работает для ранее неизвестных целевых классов, которые модель не видела при обучении. Для этого на этапе тестирования необходима пара изображений-примеров для каждого неизвестного ранее класса.
Большинство GAN для переноса стиля обучены решать одну задачу. Например, сгенерировать изображение зебры по изображению лошади. FUNIT учится совместно решать множество задач. Каждая задача — это перенос выражения одного типа животного на другой тип животного. С помощью одновременного решения множества задач нейросеть обучается переносить черты знакомых животных на ранее неизвестных животных. Преимущество FUNIT в том, что модель не требует большого количества размеченных данных для обучения, чтобы уметь генерировать изображения неизвестных классов животных.
В веб-приложении GANimal можно протестировать работу нейросети на желаемом изображении животного. Разработчики обучили нейросеть переносить выражение и позу на десятки пород: от африканской охотничьей собаки и египетского кота до ши-тцу, снежного леопарда и медведя-ленивца.
Исследование представили на конференции по компьютерному зрению International Conference on Computer Vision (ICCV) в Сеуле.
