![](https://neurohive.io/wp-content/uploads/2020/07/figure5-spaceship-composition-min.png)
FAIR опубликовали нейросетевую модель, которая повышает разрешение изображения в 16 раз. Нейросеть принимает на вход изображение с разрешением в 960×540. Затем модель апсемплит изображение до разрешения в 3840×2160 в реальном времени. Модель имеет прямое применение в игровой индустрии. Использование нейросети позволяет сократить траты на рендеринг для дисплеев с высоким разрешением.
Описание проблемы
Существуют подходы для повышения разрешения фотографий. Однако ни один из подходов не фокусируется на изображениях, которые рендерятся игровыми движками. Фотографии и отрендеренные изображения фундаментально отличны, поэтому предыдущие подходы неэффективны при решении задачи апсемплинга изображений из игровых движков.
Фундаментальное отличие фотографий и изображений из видеоигр заключается в том, что последние часто имеют характеристики фотографий в низком разрешении. Это связано с тем, что изображения из видеоигр рендерятся в реальном времени содержат артефакты передвижения объектов. Поэтому модель должна учитывать связность и пересечения изображений между собой.
Подробнее о модели
На инференсе нейросеть принимает на вход цвет, карту глубины и векторы плотности движения для текущего и множества предыдущих кадров. Эти данные используются при генерации изображения в высоком разрешении для текущего кадра.
![](https://neurohive.io/wp-content/uploads/2020/07/figure2-dancestudio-input-rgb-depth-motion-min-570x190.png)
Нейросеть оптимизирована так, что бы максимизировать качество изображения и видеозаписи и что бы ее можно было использовать в реальном времени. Модель обучалась с учителем.
![](https://neurohive.io/wp-content/uploads/2020/07/figure4-village-composition-min-307x422.png)