Ученые из Италии разработали нейронную сеть DeepFlash, которая редактирует пересвеченные селфи и превращает их в качественные фото — как будто они сделаны в студии с профессиональным освещением. Метод исправляет дефекты, которые возникают при съемке со вспышкой крупным планом: блики, тени, блеск кожи, сглаженность изображения.
Особенности метода
Исследователи из Университета Базиликаты разработали регрессионную модель и использовали обучение с учителем, при котором сверточная нейронная сеть (CNN) обучалась на парах фотографий. Фото были сделаны 13-мегапиксельной камерой Nexus 6. Первое делалось со студийным светом, а второе в темноте — только со вспышкой смартфона. Всего разработчики использовали 495 фотографий 101 человека в разных позах. Затем они увеличили обучающий датасет примерно в 20 раз — до 9900 фотографий путем обрезки и поворотов изображений.
Нейронная сеть
Предложенная сеть — это CNN со структурой кодер-декодер, которая состоит из двух подсетей. Первая использует в качестве входных данных фото со вспышкой и кодирует изображение в скрытое представление признаков. Вторая принимает результат в качестве входных данных и воссоздает изображение без дефектов. Для кодирования разработчики используют известную сеть VGG-16 от Visual Geometry Group. Эта CNN часто используется для задач обнаружения и классификации объектов и показывает точность до 92,7% на 1000 классов объектов датасета ImageNet.
Результаты
Ученые сравнили результаты работы DeepFlash с оригинальным изображением со студийным светом, двумя нейронными сетями HDRNet, Pix2Pix и алгоритмом переноса стиля.
Сеть HDRNet способна переносить цвета из основного изображения, но яркость вспышки остается практически неизменной, а лицо получается очень размытым.
Pix2Pix лучше передает цвета целевого изображения, но при этом вносит заметные артефакты, значительно изменяя содержимое фото. Артефакты можно увидеть на глазах и лице.
Метод Style transfer может правильно передавать цвета, но не убирает вспышку и тоже добавляет артефакты.
Исследователи также обучили HDRNet и Pix2Pix c использованием собственного подхода, это позволило значительно улучшить результаты работы нейросетей. Больше примеров можно увидеть в опубликованной работе.
В дальнейшем разработчики планируют улучшать алгоритм, чтобы научить его редактировать селфи с несколькими людьми, устранять эффект красных глаз, менять фон. Конечная цель — создать приложение для редактирования фото на смартфоне на основе нейронных сетей.
