FAIR опубликовали нейросетевую модель, которая повышает разрешение изображения в 16 раз. Нейросеть принимает на вход изображение с разрешением в 960×540. Затем модель апсемплит изображение до разрешения в 3840×2160 в реальном времени. Модель имеет прямое применение в игровой индустрии. Использование нейросети позволяет сократить траты на рендеринг для дисплеев с высоким разрешением.
Описание проблемы
Существуют подходы для повышения разрешения фотографий. Однако ни один из подходов не фокусируется на изображениях, которые рендерятся игровыми движками. Фотографии и отрендеренные изображения фундаментально отличны, поэтому предыдущие подходы неэффективны при решении задачи апсемплинга изображений из игровых движков.
Фундаментальное отличие фотографий и изображений из видеоигр заключается в том, что последние часто имеют характеристики фотографий в низком разрешении. Это связано с тем, что изображения из видеоигр рендерятся в реальном времени содержат артефакты передвижения объектов. Поэтому модель должна учитывать связность и пересечения изображений между собой.
Подробнее о модели
На инференсе нейросеть принимает на вход цвет, карту глубины и векторы плотности движения для текущего и множества предыдущих кадров. Эти данные используются при генерации изображения в высоком разрешении для текущего кадра.
Нейросеть оптимизирована так, что бы максимизировать качество изображения и видеозаписи и что бы ее можно было использовать в реальном времени. Модель обучалась с учителем.
