Разработчики в VideoGorillas обучили нейросеть улучшать разрешение видео. Нейросеть конвертирует видео из 480p разрешения в 4K. Модель используется для предсказания недостающих пикселей.
За последние несколько лет стандарты видеосъемки значительно возросли. Существует потребность в инструментах для улучшения разрешения. 4К разрешение сейчас является нормой, а 8К разрешение ей становится. Видеоконтент, который был произведен ранее, не может соответствовать новым стандартам. В киноиндустрии набирает популярность перепоказ старых фильмов в улучшенном разрешении.
С увеличением разрешения задача улучшения разрешения без лишних артефактов становится сложнее. Киностудии используют дополнительные ресурсы и время на доработку видео увеличивается.
Компания VideoGorillas, которая базируется в Лос-Анджелесе, разработала state-of-the-art метод для улучшения разрешения видеозаписей. Метод построен на NVIDIA CUDA-X и Studio Stack. Внедрение нейросетей, компьютерного зрения, GPU-вычислений позволило методу выдавать правдоподобные результаты.
Как это работает
Программа, которая на основе нейросети улучшает качество видео, называется Bigfoot Super Resolution. Bigfoot Super Resolution — это новый подход к повышению качества видеоконтента, который основан на NVIDIA RTX. Результат нейросети получается более правдоподобный, чем тот, который получается стандартными подходами.
Архитектура нейросети основана на RNN. Модель выучивает стиль видеосъемки для фильмов определенной эпохи. Когда затем модель получает на вход фильм той эпохи, на которой она обучалась, на этапе предсказывания пикселей модель реплицирует стиль, который свойственен фильмам той эпохи. GAN используется для удаления лишних артефактов в видеозаписи в кадрах с низким разрешением. Сгенерированный кадр без шума и артефактов заменяет оригинальный кадр.
Нейросети обучались на Pytorch с использованием CUDA и cuDNN. Как входные данные исследователи использовали кадры из фильмов. На каждый фильм приходилось несколько миллионов кадров.
