Нейросеть от NVIDIA сгенерировала работающую версию игры PAC-MAN без игрового движка. GameGAN — это первая нейросеть, которая способна мимикрировать игровые движки и генерировать новые игры. GAN обучали так, как используются компьютерные игры: после каждого действия агента кадр игры меняется.
Целью модели является ускорить разработку новых игр, уровней и сцен для разработчиков. При этом модель можно использовать для генерации симуляторов для обучения автономных агентов.
Архитектура модели
GameGAN является игровым симулятором, который моделирует детерминированную и стохастическую среды. Нейросеть состоит из трех модулей:
- Динамический движок, который поддерживает переменную внутреннего состояния. При этом переменная обновляется рекуррентно;
- Для сред, которые требуют долговременную консистентность, используется внешний модуль памяти. Модуль памяти хранит то, что модель ранее сгенерировала;
- Движок для рендеринга, который используется для декодирования выходного изображения
Все модули подхода являются нейросетями, которые обучаются end-to-end.
Примеры предсказаний модели
На видео ниже виден пример предсказания модели. Слева — итоговое предсказание, которое объединяет в себе статический и динамический компоненты. Посередине — статический компонент, а справа — динамический компонент.
