Многих интересует вопрос — как убрать туман на фотографии? Цвета на фотографиях, сделанных в туманную погоду, получаются неестественными, слабо насыщенными и неконтрастными. Рассеивание света каплями воды создает дополнительные сложности в решении многих задач компьютерного зрения: распознавание и классификация образов, аэрофотосъёмка, беспилотное вождение, удалённое зондирование.
Убрать туман — сложная задача, так как на отдельно взятой фотографии не хватает информации о структуре и визуальных свойствах объектов. Для компенсации недостатка информации часто используют априорную информацию: локальная глубина цвета предполагается совпадающей с глубиной цвета соседних пикселей. Такой подход иногда работает, однако в нашем случае он бесполезен: восстановленное изображение станет перенасыщенным и будет иметь неправильные тона.
Проблема неразрешима только из-за недостатка информации низкого уровня. Стоит отметить, что человек легко способен определить, правда ли, что дерево на фотографии слишком зелёное, или небо чрезмерно голубое. Люди могут это сделать потому, что способны определить семантический подтекст изображения.
Семантический подход к удалению тумана с фотографии
Исследователи из Национального Университета Австралии Ziang Cheng, Shaodi You, Viorela Ila, и Hongdong Li предлагают использовать семантические особенности при удаления тумана с изображений.
Они предлагают свёрточную нейронную сеть, которая изучает корреляции между семантикой и естественным цветом объекта и определяет вид изображения без тумана и цвет освещения на нём, основываясь на изученных семантических особенностях. Таким образом, если цвет объекта известен достоверно (к примеру: синий — цвет неба, зелёный — цвет травы), то семантика предоставляет информативную подсказку о реальном цвете объекта на изображении.
Структура изображения без тумана и внешнее освещение определяются с высокой степенью достоверности. Затем, если другие объекты на изображении имеют цвета, которые не определены с высокой степенью достоверности с помощью семантических особенностей (к примеру: автомобили и здания с разноцветной палитрой), то цвет может быть предугадан с использованием низкоуровневой априорной информации и внешнего освещения, которое определяется по достоверным объектам. Иллюстрация подхода представлена на рисунке ниже:
Архитектура нейронной сети
Как было отмечено, на изображении с туманом цвет объекта и внешнее освещение взаимно зависимы, поэтому исследователи создали нейросеть, способную объединить оба этих аспекта и определять один посредством другого. Подход распространяет информацию, полученную от объектов с достоверной априорной информацией, на другие части изображения и делает предсказания о цвете объектов с малодостоверной априорной информацией. Архитектура модели показана на рисунке ниже.
Входные данные — изображения, на которых присутствует туман; на выходе получаются изображение без тумана (чистое изображение). Она состоит из трёх модулей:
- Семантический модуль для выявления высокоуровневых семантических особенностей.
- Модуль глобальной оценки для предсказания общих особенностей.
- Цветовой модуль для получения чистого изображения.
Семантический модуль. Для выявления семантических особенностей выбрана классифицирующая нейросеть VGG16. Модель обучена для задачи распознавания образов на 1000 семантических категорий. В предположении, что для данной модели необходимы только семантические особенности, а не точное маркирование, последний слой VGG модели был удалён, выход промежуточных свёрточных слоёв был использован для выявления семантических особенностей.
Модуль глобальной оценки. Далее исследователи используют семантический модуль для оценки набора из 32-х общих особенностей. На данном этапе цель — убедиться, что значимая информация об общих особенностях, таких как внешнее освещение или семантический контекст, будет использована моделью. Затем исследователи применяют доверительно-взвешенную технику объединения (confidence-weighted pooling technique). С её помощью модель извлекает общие особенности изображения, зависящие от уровня достоверности априорной информации. Как обсуждалось выше, некоторые классы объектов (к примеру небо, деревья) имеют достоверную информацию о цвете. Таким образом, глобальное объединение суммирует и распространяет локальные особенности достоверных регионов на другие части изображения.
Цветовой модуль. Данный модуль использует архитектуру нейросети AOD, однако принимает на вход изображение с туманом и семантические особенности, извлечённые из предыдущих моделей. Выходные данные этой свёрточной нейросети — RGB изображение без тумана.
Оценка метода
Производительность семантического подхода получила количественную оценку и приведена в сравнение с другими методиками на примере изображений с искусственно добавленным туманом. Для сравнения использованы три параметра:
- Среднеквадратичная ошибка (mean squared error — MSE).
- Отношение пиковый сигнал/шум (peak signal to noise ratio — PSNR).
- Структурные показатели сходства (structural similarity metrics — SSIM)
В таблицах ниже показаны результаты данного сравнения, основанные на двух наборах данных: с цветным туманом и с чёрно-белым туманом.
Как видно, семантический подход даёт лучшие результаты в сравнении с другими методами. Кроме того, на примере набора данных с цветным туманом показано, что метод устойчив к изменчивым условиям освещения (Таблица 1).
Результаты предлагаемой модели также приведены в качественное сравнение с другими методами. Сравнение проводилось на основе изображений с реальным туманом и искусственно добавленным туманом. Стоит отметить, что были выбраны изображения с реальным туманом похожие на тренировочные примеры.
Рисунки 4–6 демонстрируют возможности семантического подхода к удалению тумана с изображения. Модель способна восстановить пейзаж, яркость и цветовой баланс и предлагает правдоподобные цвета для объектов, неразличимых человеческим глазом. К примеру, на Рис.4 небо претерпевает сильное изменение цвета, но модель способна восстановить естественный цвет, превосходя другие современные методы. Различие объясняется тем, что семантическая модель использует дополнительную информацию об объектах на изображении.
Подведём итог
Семантический подход к удалению тумана с отдельных изображений — первый метод, который использует высокоуровневые особенности для изучения семантически априорной информации, дающей информативные подсказки о цветах объектов. Было доказано, что модель устойчива в экстремальным условиях: сильный туман, яркие поверхности, значительные изменения цвета, насыщенный атмосферный свет. Метод показывает хорошие результаты при обработке изображений с искусственно добавленным туманом и с настоящим туманом, сходных с тренировочными изображениями.
И здесь возникает главное ограничение. До тех пор, пока модель не обучена на большом количестве примеров пейзажей на отрытом воздухе, она не является общей. Подходящих датасетов мало, метод страдает от нехватки семантических образов объектов реального мира. Тем не менее, авторы обещают улучшить модель, обучив её на примере более широкого спектра изображений.
