Видео, которые снимали и редактировали для телевизора или десктопного компьютера обычно снимаются и просматриваются в соотношениях 16:9 или 4:3. С увеличением количества пользователей смартфонов ранее устойчивые соотношения уже не вмещаются на экране телефонов. Традиционные подходы к изменению соотношения сторон видео обычно задействуют статичное обрезание. Такие статичные подходы приводят к тому, что часть контента видеозаписи теряется.
Чтобы решить эту проблему, исследователи из Google AI разработали AutoFlip. AutoFlip — это опенсорс фреймворк, который использует нейросети для автоматического изменения соотношения сторон видеозаписи. AutoFlip разрабатывали поверх фреймворка MediaPipe, который позволяет создавать пайплайн обработки данных в формате временных рядов. Модель принимает на вход видеозапись и желаемый размер. AutoFlip анализирует содержание видеозаписи и определяет оптимальные стратегии обрезания покадрово. На выходе модель выдает исходную видеозапись в желаемом формате.
Примеры использования модели
Исследователи опубликовали инструмент для разработчиков и кинорежиссеров, чтобы сократить затрачиваемые на обработку видео ресурсы. Возможность адаптировать контент под различные форматы является актуальной для создателей видеоконтента и рядовых пользователей смартфонов.
