![](https://neurohive.io/wp-content/uploads/2021/03/Photos_Blog_Cinematic_Photos.max-1000x1000-1.png)
Нейросеть от Google AI симулирует движение камеры и параллакс для фотографий. Систему Cinematic photos используют в приложении Google Photos.
Оценка глубины изображения
Наряду с такими последними функциями для фотографии, как Portrait Mode и Augmented Reality (AR), Cinematic photos требует карту глубины, чтобы иметь представление о 3D структуре сцены. В телефонах Pixel сцена захватывается с помощью двух камер или сенсоров с двумя пикселями. Это позволяет получить глубине сцены через разные точки обзора камер и известное расстояние между камерами. Чтобы Cinematic photos была доступна для фотографий, которые не были сняты на Pixel, разработчики обучили сверточную нейросеть с энкодер-декодер архитектурой. Нейросеть предсказывает карту глубины по одному RGB изображению. Маски сегментации для людей на изображении получают с помощью модели DeepLab, которую обучали на датасете Open Images.
Траектория камеры
Для реконструкции сцены в 3D, RGB изображение накладывается на карту глубины и получается сетка (mesh). Такой подход может приводить к наличию артефактов. Чтобы сделать систему устойчивой к артефактам, разработчики используют padded маски сегментации из модели оценки позы человека. Маски делятся на три части: голова, тело и задний фон.
![](https://1.bp.blogspot.com/-qeU64EmgT5k/YDVEDZnk2II/AAAAAAAAHNs/Et9MBks0-Ssx3LcCg4hP7Cycjq8g1t3ZACLcBGAsYHQ/w400-h353/image5.gif)