fbpx
  • FaceForencis — крупнейший датасет для распознавания фейковых фото и видео

    FaceForencis датасет

    FaceForencis — набор данных изображений, созданных с использованием методов Face2Face, FaceSwap и DeepFakes. Данные собраны исследователями из Италии и Германии, чтобы улучшить точность моделей распознавания поддельных фото. Кроме набора данных исследователи предложили новый метод распознавания поддельных фото и видео с использованием domain knowledge.

    Проблема

    Стремительный прогресс в создании синтетических образов и манипулировании ими вызывает серьезные опасения. Распространение ложной информации и фальшивые новости приведут, как минимум, к потере доверия к цифровому контенту и росту дезинформации для манипулирования общественным мнением.

    Сбор данных

    Набор данных FaceForencis содержит 510 207 поддельных изображений лиц с целевой ground truth, чтобы исследователи могли обучать модели распознавания фейков, используя метод обучения с учителем.

    Разработчики использовали 1000 видео, взятых из блогов, новостных каналов и интервью на Youtube, и применили методы Face2Face, FaceSwap и DeepFakes для создания датасета поддельных изображений. Набор данных содержит полмиллиона неизмененных лиц, полмиллиона поддельных и по 1000 видео с лицами, сделанными с использованием каждого из методов фальсификации.

    Метод обнаружения подделок

    Насколько хорошо люди отличают поддельные видео? В проверке приняли участие 143 человека. Если видео высокого качества, то человек способен отличить подделку в 71% случаев, 61% — точность распознавания, если качество видеозаписи низкое.

    FaceForencis
    Результаты распознавания подделок человеком

    FaceForensics может быть использован для обучения моделей обнаружению поддельных изображений лиц. «Информация, относящаяся к конкретному домену, в сочетании с классификатором XceptionNet, показывает лучшую производительность в каждом тесте», — пишут ученые в статье, оценивая пять потенциальных методов фальсификации.

    FaceForencis fakes dataset
    Сравнение с другими методами обнаружения поддельных изображений

    Входное изображение обрабатывается с помощью метода отслеживания лица. Модель извлекает информацию из области изображения, где находится измененная с помощью Face2Face, FaceSwap и DeepFakes часть лица, и отправляет ее в сеть классификации, которая определяет — эта область была изменена или нет. Эффективность подхода зависит от количества обучающих данных.

    Разработчики создали самый большой общедоступный датасет с поддельными видео. Он опубликован на GitHub.