Adobe выпустила новую функцию Enhance Details для своих приложений Lightroom Classic, Lightroom CC и Camera RAW. Enhance Details использует сверточную нейронную сеть, чтобы повысить качество RAW-фотографий на 30%. Это один из первых случаев применения нейронных сетей в продуктах столь массового пользования для редактирования фотографий.
Инструмент Adobe Enhance Details использует сверточную нейронную сеть для демозаики. Демозаика — это процесс цветовой интерполяции. Во время создания цифрового изображения камера добавляет цвет в исходный монохромный файл. Каждый пиксель на фотографии получает свой цвет путем сочетания красного, зеленого и синего в определенных пропорциях. Процессор рассчитывает оптимальное значение интенсивности цвета каждого пикселя на основе значений соседних пикселей.
Алгоритмы (один для работы с фильтром Байера, другой для Fujifilm X-Trans) были обучены на наборе данных из миллиарда изображений, чтобы научиться работать с теми частями фотографии, где больше всего деталей.
В результате функция помогает подобрать оптимальные цвета для пикселей и сделать детали более четкими. Это происходит благодаря тому, что программа отчасти устраняет проблемы размытия — делает края объектов более резкими, а цвет более ярким. В результате четкость изображения повышается на 30%. Подробную информацию об инструменте можно найти в блоге Adobe.
В компании отмечают, что алгоритм подойдет для работы с изображениями с большим количеством деталей и артефактов, а также для изображений, которые нужно напечатать в большом формате.
Для использования Enhance Details нужен достаточно современный компьютер (поддерживающй macOS 10.13 или Windows 10 версии 1809 или новее). В Adobe отмечают, что обработка изображения занимает время, особенно на компьютерах со слабыми графическими процессорами. Функция работает только для изображений в формате RAW.
В августе 2018 года Samsung выпустила телевизор с функцией 8K AI Upscaling, где, скорее всего, использовали GAN: детализация не улучшалась, но картинка делалась более приятной для просмотра на телевизоре с большим разрешением.
