Свёрточные нейронные сети очень эффективны в восстановлении изображений, но большинство существующих алгоритмов способны справляться только с одним видом повреждения изображения. Исследователи из Intel Labs представили алгоритм deep likelihood network (DL-Net), цель которого — обобщение существующих сетей для восстановления любых типов повреждений. Для достижения этой цели пришлось поменять исходный код сетей, добавив рекурсивный, вдохновлённый MAP модуль, для распутывания эффектов повреждения изображения.
Восстановление изображения
В стандартные способы восстановления изображения входит: SISR, дорисовывание, удаление шума, размытие. Существующие алгоритмы превосходно справляются с большинством этих задач, поэтому исследователи сфокусировались на рисовании, то есть на завершении изображения, и на объединении сетей.
Этапы восстановления изображения
Как видно из схемы, изображение восстанавливается в несколько этапов.
Тестирование
В качестве входных данных использовались датасеты CelebA и SUN397. Для обучения было использовано по 100 000 изображений из каждого датасета и 1 000 для тестирования, каждое изображение масштабируется до 64х64. Обучение происходит в 500 эпох, скорость обучения снижается каждые 200 эпох в 10 раз
В таблицах ниже приведены результаты тестирования по метрике PSNR алгоритм DL-Net оказался лучшим во всех случаях.
В первой таблице качество измеряется при увеличении размера изображения, во второй при уменьшении количества оставшихся пикселей. На изображениях ниже показано визуальное различие алгоритмов:
