FaceForencis — набор данных изображений, созданных с использованием методов Face2Face, FaceSwap и DeepFakes. Данные собраны исследователями из Италии и Германии, чтобы улучшить точность моделей распознавания поддельных фото. Кроме набора данных исследователи предложили новый метод распознавания поддельных фото и видео с использованием domain knowledge.
Проблема
Стремительный прогресс в создании синтетических образов и манипулировании ими вызывает серьезные опасения. Распространение ложной информации и фальшивые новости приведут, как минимум, к потере доверия к цифровому контенту и росту дезинформации для манипулирования общественным мнением.
Сбор данных
Набор данных FaceForencis содержит 510 207 поддельных изображений лиц с целевой ground truth, чтобы исследователи могли обучать модели распознавания фейков, используя метод обучения с учителем.
Разработчики использовали 1000 видео, взятых из блогов, новостных каналов и интервью на Youtube, и применили методы Face2Face, FaceSwap и DeepFakes для создания датасета поддельных изображений. Набор данных содержит полмиллиона неизмененных лиц, полмиллиона поддельных и по 1000 видео с лицами, сделанными с использованием каждого из методов фальсификации.
Метод обнаружения подделок
Насколько хорошо люди отличают поддельные видео? В проверке приняли участие 143 человека. Если видео высокого качества, то человек способен отличить подделку в 71% случаев, 61% — точность распознавания, если качество видеозаписи низкое.
FaceForensics может быть использован для обучения моделей обнаружению поддельных изображений лиц. «Информация, относящаяся к конкретному домену, в сочетании с классификатором XceptionNet, показывает лучшую производительность в каждом тесте», — пишут ученые в статье, оценивая пять потенциальных методов фальсификации.
Входное изображение обрабатывается с помощью метода отслеживания лица. Модель извлекает информацию из области изображения, где находится измененная с помощью Face2Face, FaceSwap и DeepFakes часть лица, и отправляет ее в сеть классификации, которая определяет — эта область была изменена или нет. Эффективность подхода зависит от количества обучающих данных.
Разработчики создали самый большой общедоступный датасет с поддельными видео. Он опубликован на GitHub.
