• Нейросеть DeepFlash превращает пересвеченные селфи в студийные фото

    Ученые из Италии разработали нейронную сеть DeepFlash, которая редактирует пересвеченные селфи и превращает их в качественные фото — как будто они сделаны в студии с профессиональным освещением. Метод исправляет дефекты, которые возникают при съемке со вспышкой крупным планом: блики, тени, блеск кожи, сглаженность изображения.



    исправление света на фотографии - нейросеть deepflash
    Примеры работы алгоритма. Сравнение между исходным и итоговым изображениями

    Особенности метода

    Исследователи из Университета Базиликаты разработали регрессионную модель и использовали обучение с учителем, при котором сверточная нейронная сеть (CNN) обучалась на парах фотографий. Фото были сделаны 13-мегапиксельной камерой Nexus 6. Первое делалось со студийным светом, а второе в темноте — только со вспышкой смартфона. Всего разработчики использовали 495 фотографий 101 человека в разных позах. Затем они увеличили обучающий датасет примерно в 20 раз — до 9900 фотографий путем обрезки и поворотов изображений.

    Нейронная сеть

    Предложенная сеть — это CNN со структурой кодер-декодер, которая состоит из двух подсетей. Первая использует в качестве входных данных фото со вспышкой и кодирует изображение в скрытое представление признаков. Вторая принимает результат в качестве входных данных и воссоздает изображение без дефектов. Для кодирования разработчики используют известную сеть VGG-16 от Visual Geometry Group. Эта CNN часто используется для задач обнаружения и классификации объектов и показывает точность до 92,7% на 1000 классов объектов датасета ImageNet.

    нейросеть исправляет засвеченные фото
    Архитектура сети

    Результаты

    Ученые сравнили результаты работы DeepFlash с оригинальным изображением со студийным светом, двумя нейронными сетями HDRNet, Pix2Pix и алгоритмом переноса стиля.

    deepflash
    Слева — входное изображение, в центре — результат, справа — реальное изображение со студийным светом

    Сеть HDRNet способна переносить цвета из основного изображения, но яркость вспышки остается практически неизменной, а лицо получается очень размытым.

    сравнение deepflash и HDRnet
    Сравнение с HDRNet

    Pix2Pix лучше передает цвета целевого изображения, но при этом вносит заметные артефакты, значительно изменяя содержимое фото. Артефакты можно увидеть на глазах и лице.

    сравнение deepflash и pix2pix
    Сравнение с Pix2Pix

    Метод Style transfer может правильно передавать цвета, но не убирает вспышку и тоже добавляет артефакты.

    сравнение deepflash и style transfer
    Сравнение с алгоритмом переноса стиля

    Исследователи также обучили HDRNet и Pix2Pix c использованием собственного подхода, это позволило значительно улучшить результаты работы нейросетей. Больше примеров можно увидеть в опубликованной работе.

    В дальнейшем разработчики планируют улучшать алгоритм, чтобы научить его редактировать селфи с несколькими людьми, устранять эффект красных глаз, менять фон. Конечная цель — создать приложение для редактирования фото на смартфоне на основе нейронных сетей.



    Подписаться
    Уведомить о
    guest

    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии