fbpx
  • Нейросеть от FAIR повышает разрешение изображения в 16 раз

    FAIR опубликовали нейросетевую модель, которая повышает разрешение изображения в 16 раз. Нейросеть принимает на вход изображение с разрешением в 960×540. Затем модель апсемплит изображение до разрешения в 3840×2160 в реальном времени. Модель имеет прямое применение в игровой индустрии. Использование нейросети позволяет сократить траты на рендеринг для дисплеев с высоким разрешением.

    Описание проблемы

    Существуют подходы для повышения разрешения фотографий. Однако ни один из подходов не фокусируется на изображениях, которые рендерятся игровыми движками. Фотографии и отрендеренные изображения фундаментально отличны, поэтому предыдущие подходы неэффективны при решении задачи апсемплинга изображений из игровых движков. 

    Фундаментальное отличие фотографий и изображений из видеоигр заключается в том, что последние часто имеют характеристики фотографий в низком разрешении. Это связано с тем, что изображения из видеоигр рендерятся в реальном времени содержат артефакты передвижения объектов. Поэтому модель должна учитывать связность и пересечения изображений между собой.

    Подробнее о модели

    На инференсе нейросеть принимает на вход цвет, карту глубины и векторы плотности движения для текущего и множества предыдущих кадров. Эти данные используются при генерации изображения в высоком разрешении для текущего кадра.

    Пример входных данных модели

    Нейросеть оптимизирована так, что бы максимизировать качество изображения и видеозаписи и что бы ее можно было использовать в реальном времени. Модель обучалась с учителем.

    Пример работы модели