fbpx
  • Алгоритм DL-Net от Intel Labs восстанавливает несколько видов повреждения изображения

    DL-Net intel labs

    Свёрточные нейронные сети очень эффективны в восстановлении изображений, но большинство существующих алгоритмов способны справляться только с одним видом повреждения изображения. Исследователи из Intel Labs представили алгоритм deep likelihood network (DL-Net), цель которого — обобщение существующих сетей для восстановления любых типов повреждений. Для достижения этой цели пришлось поменять исходный код сетей, добавив рекурсивный, вдохновлённый MAP модуль, для распутывания эффектов повреждения изображения.

    Восстановление изображения

    В стандартные способы восстановления изображения входит: SISR, дорисовывание, удаление шума, размытие. Существующие алгоритмы превосходно справляются с большинством этих задач, поэтому исследователи сфокусировались на рисовании, то есть на завершении изображения, и на объединении сетей.

    Этапы восстановления изображения

    dl-net

    Как видно из схемы, изображение восстанавливается в несколько этапов.

    Тестирование

    В качестве входных данных использовались датасеты CelebA и SUN397. Для обучения было использовано по 100 000 изображений из каждого датасета и 1 000 для тестирования, каждое изображение масштабируется до 64х64. Обучение происходит в 500 эпох, скорость обучения снижается каждые 200 эпох в 10 раз

    В таблицах ниже приведены результаты тестирования по метрике PSNR алгоритм DL-Net оказался лучшим во всех случаях.

    В первой таблице качество измеряется при увеличении размера изображения, во второй при уменьшении количества оставшихся пикселей. На изображениях ниже показано визуальное различие алгоритмов: