Исследователи из Berkeley и Adobe создали инструмент, который не только может определить манипуляции над фотографиями, сделанные в Photoshop, но и предложить, как их можно отменить. Следует отметить, что этот проект применим только к манипуляциям в Photoshop, и в частности к тем, которые сделаны с помощью функции «Face Aware Liquify», которая выполняет как едва заметные, так и серьезные корректировки многих черт лица. До универсального инструмента, предназначенного для обнаружения применений Photoshop к фотографиям еще далеко, но это только начало.
Исследователи создали сценарий, который делает портретные фотографии и производит небольшие манипуляции с ними: небольшие движения глаз и подчеркивание улыбки, сужение щек и носа, и т.п. Затем они массово передавали оригиналы и искаженные версии фотографий модели машинного обучения, чтобы она научилась отличать их друг от друга.
Модель обучилась делать это, и вполне прилично. Когда людям предъявляли изображения и спрашивали, над какими изображениями были произведены манипуляции, они действовали лишь немного лучше, чем случайный выбор. Но обученная нейронная сеть идентифицировала изображения с произведенными манипуляциями в 99 процентах случаев.
Вероятно, это связано с тем, что сверточная нейросеть хорошо детектирует крошечные узоры на изображении, которые люди не могут реально воспринимать. И те же самые маленькие паттерны также подсказывают ему, какие именно манипуляции были сделаны, что позволяет ему предлагать «отменить» манипуляции, даже не видя оригинала.
Так как модель ограничена только лицами, подправленными инструментом Photoshop, не стоит ожидать, что это исследование создаст какой-либо существенный барьер против сил зла, беззаконно меняющих лица там и тут. Но это можно рассматривать как одно из многих небольших начинаний в растущей области цифровой криминалистики.
Вы можете прочитать документ с описанием проекта и просмотреть исходный код (пока не доступен) на странице проекта.
