fbpx
  • Нейросеть от Google AI симулирует движение камеры

    Нейросеть от Google AI симулирует движение камеры и параллакс для фотографий. Систему Cinematic photos используют в приложении Google Photos.

    Оценка глубины изображения

    Наряду с такими последними функциями для фотографии, как Portrait Mode и Augmented Reality (AR), Cinematic photos требует карту глубины, чтобы иметь представление о 3D структуре сцены. В телефонах Pixel сцена захватывается с помощью двух камер или сенсоров с двумя пикселями. Это позволяет получить глубине сцены через разные точки обзора камер и известное расстояние между камерами.  Чтобы Cinematic photos была доступна для фотографий, которые не были сняты на Pixel, разработчики обучили сверточную нейросеть с энкодер-декодер архитектурой. Нейросеть предсказывает карту глубины по одному RGB изображению. Маски сегментации для людей на изображении получают с помощью модели  DeepLab,  которую обучали на датасете Open Images.

    Траектория камеры

    Для реконструкции сцены в 3D, RGB изображение накладывается на карту глубины и получается сетка (mesh). Такой подход может приводить к наличию артефактов. Чтобы сделать систему устойчивой к артефактам, разработчики используют padded маски сегментации из модели оценки позы человека. Маски делятся на три части: голова, тело и задний фон.

    Процесс оптимизации траектории
    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии