Фотографирование часто подразумевает полное соответствие изображения и объекта съемки, однако, иногда полученное изображение оказывается размытым. Причина тому — движение камеры или объекта в момент съемки. Такой эффект называют размытием в движении. Исследователи пытаются создать способ устранения этого недостатка, рассмотрим новейший метод для устранения размытия: слепая деконволюция.
Размытие и борьба с ним
Операция свертки (или конволюция) — процесс наложения фильтра на изображение, применение некоторой функции-ядра или матрицы к рецептивному полю снимка. Изображение формируется в ходе сложного процесса, в ходе которого в результат вносятся искажения. Восстановление четкости означает избавление от искажений, поэтому устранение размытия, по существу, это попытка выполнить обратную свертку (деконволюцию).
Известны два основных способа устранения размытия изображений: слепая и неслепая деконволюции. Слепая деконволюция подразумевает выполнение обратной свертки изображения в отсутствие априорного знания функции-ядра (или импульсной функции отклика). Методы, основанные на слепой деконволюции, генерируют правдоподобные выражения для импульсной функции отклика, в то время как неслепые методы основаны на предварительном знании ядра свертки.
Новый метод — слепая деконволюция
Исследователи из университета Париж-Сакле и Республиканского университета утверждают, что соверменные подходы к восстановлению изображения предполагают слишком упрощенную модель его формирования, поэтому они предложили новый способ борьбы с размытием, основанный на неслепой деконволюции. В работе, названной «Моделирование реалистичных ухудшений в неслепой деконволюции», авторы берутся за решение проблемы устранения размытия в движении, используя более реалистичную и сложную модель формирования изображения.
Простейшая модель представляет собой линейную комбинацию четкого изображения, ядра размытия и гауссова шума. Однако авторы утверждают, что такой подход не полностью описывает формирование и моделирование изображения, так как в процессе формирования фотографии возникают необратимые и нелинейные ухудшения на всех этапах. Примерами таких ухудшений, которые учитывает предложенная в работе модель, являются насыщение, квантование изображения и гамма-коррекция.
В работе авторы аппроксимируют функцию размытия изображения (ядро свертки) моделью, учитывающей оператор насыщения пикселей, функцию квантования изображения и коэффициент гамма-коррекции. Помимо формулировки модели формирования изображения, продемонстрирован метод обратной свертки, показывающий хорошие результаты при учете перечисленных «реалистичных» типов ухудшений изображения. Метод является неслепым, то есть предполагает априорное задание функции ядра.
Говоря простым языком, предлагаемый метод устранения размытия основан на определении каждого типа ухудшения (разницы между четким и размытым изображением) как энергии, которая минимизируется с использованием фреймворка стохастической деконволюции.
Основываясь на алгоритме покоординатного спуска, который не содержит производных и позволяет минимизировать произвольную величину, метод позволяет минимизировать ранее введенные энергии насыщения пикселей, квантования и гамма-коррекции.
Данные энергии вычисляются независимо для трех типов ухудшений и, в конечном счете, предлагается комбинированная задача, решающая проблему восстановления четкого изображения в реалистичной модели его формирования.
Эксперименты и измерения
Авторы изучают каждый из упомянутых выше типов ухудшений (за исключением гамма-коррекции). Разработанный метод применялся для изображений из набора BSDS300 с последующим вычислением пикового отношения сигнал/шум, как меры эффективности. Продемонстрированная реалистичная модель, по сравнению с более простыми, имеет лучшие показатели.
Тестирование работы полного (учитывающего все типы ухудшений) метода проводилось на наборе из восьми четких изображений. Для искусственного размытия изображения применяется обратная гамма-кривая с последующим насыщением пикселей путем отсечки сигнала на уровне 98%. Дополнительно добавляется гауссов шум и квантование, что обеспечивает учет всех включенных в модель типов ухудшений. Результаты тестирования приведены на рисунке.
В сухом остатке
Показано, что процесс формирования изображения является нелинейным и восстановление изображения не является тривиальной задачей. Тем не менее, метод устранения общих, известных типов ухудшений изображения с использованием алгоритма минимизации энергии и априорно известных ядер свертки показывает, несмотря на сложность данной задачи, отличные результаты. Разработанный авторами работы задел в дальнейшем позволит расширить предложенный метод восстановления изображений на случай слепой конволюции. Результатов на большой выборке предоставлено не было.
