Нейронная сеть GauGAN, разработанная Nvidia, позволяет преобразовывать схематичные рисунки в реалистичные изображения природных сцен. Компания представила разработку на конференции GPU Technology Conference 2019, посвященную машинному обучению и новым решениям для разработчиков ИИ.
GauGAN может стать мощным инструментом для создания виртуальных миров для множества специалистов: от архитекторов и градостроителей до ландшафтных дизайнеров и разработчиков игр. Программа позволит быстро создавать прототипы мира и вносить изменения в синтетическую сцену.
Как работает GauGAN
GauGAN основана на генеративной нейронной сети (GAN), которая состоит из генератора и дискриминатора. Пользователь создает рисунок, используя инструменты «кисть», «заливка» и «карандаш» и выбирая нужный режим, например «трава», «дерево», «камень», «море» и другие. Генератор обрабатывает нарисованное изображение и отправляет его в дискриминатор. Дискриминатор обучен на реальных изображениях. Он помогает генератору улучшить реалистичность синтетических изображений, используя попиксельную обратную связь.
Программа пока умеет создавать только пейзажи. Нейросеть обучали на миллионе фотографий со сценами природы из Flickr. Инструмент может синтезировать сотни тысяч объектов, создавая реалистичные переходы между ними. При пристальном рассмотрении можно увидеть, что переходы не идеальны, однако команда отмечает, что в дальнейшем результаты будут улучшаться.
Доработанная версия GauGAN будет доступна на сайте AI Playground — новой платформе, которая объединяет продукты Nvidia для обработки изображений. Протестировать работу нейронных сетей для редактирования фото может любой желающий.
