fbpx

Нейросеть DeepFlash превращает пересвеченные селфи в студийные фото

Ученые из Италии разработали нейронную сеть DeepFlash, которая редактирует пересвеченные селфи и превращает их в качественные фото — как будто они сделаны в студии с профессиональным освещением. Метод исправляет дефекты, которые возникают при съемке со вспышкой крупным планом: блики, тени, блеск кожи, сглаженность изображения.

исправление света на фотографии - нейросеть deepflash
Примеры работы алгоритма. Сравнение между исходным и итоговым изображениями

Особенности метода

Исследователи из Университета Базиликаты разработали регрессионную модель и использовали обучение с учителем, при котором сверточная нейронная сеть (CNN) обучалась на парах фотографий. Фото были сделаны 13-мегапиксельной камерой Nexus 6. Первое делалось со студийным светом, а второе в темноте — только со вспышкой смартфона. Всего разработчики использовали 495 фотографий 101 человека в разных позах. Затем они увеличили обучающий датасет примерно в 20 раз — до 9900 фотографий путем обрезки и поворотов изображений.

Нейронная сеть

Предложенная сеть — это CNN со структурой кодер-декодер, которая состоит из двух подсетей. Первая использует в качестве входных данных фото со вспышкой и кодирует изображение в скрытое представление признаков. Вторая принимает результат в качестве входных данных и воссоздает изображение без дефектов. Для кодирования разработчики используют известную сеть VGG-16 от Visual Geometry Group. Эта CNN часто используется для задач обнаружения и классификации объектов и показывает точность до 92,7% на 1000 классов объектов датасета ImageNet.

нейросеть исправляет засвеченные фото
Архитектура сети

Результаты

Ученые сравнили результаты работы DeepFlash с оригинальным изображением со студийным светом, двумя нейронными сетями HDRNet, Pix2Pix и алгоритмом переноса стиля.

deepflash
Слева — входное изображение, в центре — результат, справа — реальное изображение со студийным светом

Сеть HDRNet способна переносить цвета из основного изображения, но яркость вспышки остается практически неизменной, а лицо получается очень размытым.

сравнение deepflash и HDRnet
Сравнение с HDRNet

Pix2Pix лучше передает цвета целевого изображения, но при этом вносит заметные артефакты, значительно изменяя содержимое фото. Артефакты можно увидеть на глазах и лице.

сравнение deepflash и pix2pix
Сравнение с Pix2Pix

Метод Style transfer может правильно передавать цвета, но не убирает вспышку и тоже добавляет артефакты.

сравнение deepflash и style transfer
Сравнение с алгоритмом переноса стиля

Исследователи также обучили HDRNet и Pix2Pix c использованием собственного подхода, это позволило значительно улучшить результаты работы нейросетей. Больше примеров можно увидеть в опубликованной работе.

В дальнейшем разработчики планируют улучшать алгоритм, чтобы научить его редактировать селфи с несколькими людьми, устранять эффект красных глаз, менять фон. Конечная цель — создать приложение для редактирования фото на смартфоне на основе нейронных сетей.