DeepFovea — это система для фовеального рендеринга для AR/VR дисплеев, которая основана на нейросетях. Фовеальный рендеринг отвечает за визуализацию только той части экрана, на которую в текущий момент направлен взгляд пользователя.
Система рендерит изображения с использованием значительно меньшего количества пикселей, чем предыдущие подходы. DeepFovea — это первая генеративно-состязательная нейросеть, которая генерирует правдоподобные последовательности кадров по разреженным входным данным. Согласно результатам тестов, модель сокращает количество вычислительных ресурсов для рендеринга в 10-14 раз. При этом разница в изображении в сравнении с предыдущими подходами незаметна человеческому глазу.
Когда глаз смотрит напрямую на объект, он получает детализированную картинку объекта. Периферийное зрение, в свою очередь, более низкого качества. Человек не замечает разброс в качестве, потому что мозг предсказывает отсутствующую информацию на картинке с периферийного зрения.
Как это работает
DeepFovea использует успехи в генеративных нейросетях (GAN), которые производят консистентно правдоподобные изображения. Модель обучалась на последовательностях кадров видеозаписей. Перед поступлением данных в модель на кадрах видеозаписей снижали плотность пикселей. Так, получилось, что входные данные симулируют снижение качества периферийного изображения. При этом целевым изображением являлось оригинальное изображение без удаления пикселей. Такой дизайн позволил модели выучить, как корректно заполнять изображения недостающими пикселями. На выходе модель генерирует видео из потока разреженных пикселей.
Зачем это нужно
Опыт использования AR и VR девайсов в высоком качестве требует высокого разрешения изображений, скорости кадром и смену ракурсов. Учет всех этих требований является ресурсоемкой задачей. DeepFovea минимизирует ресурсы на поддержание AR и VR систем.
