fbpx
  • Тест: Сможете распознать фейковые фото, созданные GAN?

    gan фейковые фотографии

    В 2014 году Ян Гудфеллоу представил идею генеративно-состязательных сетей или GAN. Они называются «генеративными», потому что получают на выходе изображения, а «состязательными» — потому что представляют собой две сети, конкурирующие друг с другом. Первая старается обмануть вторую, создавая примеры фото, а вторая пытается отличить настоящие изображения от поддельных. 

    К 2017 году GAN уже научились создавать убедительные фейки, которые трудно отличить от реальных фото. Подобные технологии могут применяться в рекламе и видеоиграх, но также могут стать инструментом дезинформации.

    Тест

    Сначала попробуйте самостоятельно распознать фальшивые фото с помощью этого теста. После этого возвращайтесь к чтению статьи.

    фейковые фото DCGAN 2014
    Фото, созданные DCGAN в 2014

    Как видите, в 2014 GAN создавали изображения, которые легко отличить от реальных фотографий.

    На изображении ниже примеры лиц, сгенерированных нейросетью в 2017:

    фейковые фото twin-gan
    Реалистичные фото знаменитостей, сделанные с помощью PGAN в 2017

    Узнать, настоящий ли человек на фото можно обратив внимание на ряд деталей. Фотографии, созданные нейросетью, отличаются небольшими артефактами. Примеры будут приведены именно с лицами, потому что на лицах лучше видны изменения. Эти же артефакты помогут распознать и другие виды фейковых изображений.

    Волосы выглядят размазанными или окрашенными

    Такой артефакт характерен для длинных волос. Большая часть выглядит одинаково, но одна или несколько прядей не полностью прямые и выбиваются из общей картины — как будто волосы немного размазаны или покрашены большой кистью.

    Непонятный текст

    фейковые фото созданные нейросетью

    GAN, которые обучаются созданию лиц, испытывают трудности с созданием текста на фоне. Сети тренируются на двух версиях фото — оригинальной и зеркальной. Поэтому созданный текст может быть отображен в другую сторону.

    Сюрреалистичный фон

    фейковые фотографии людей gan

    Данные для обучения GAN центрируются, чтобы лица выглядели правдоподобно, например, чтобы глаза и уши находились на своих местах. Фон, в свою очередь, может содержать что угодно, поэтому GAN просто генерирует “фоноподобные” текстуры.

    Ассиметрия

    как отличить реальные фото от фейковых сгенерированных нейросетью

    Сеть может испытывать трудности с созданием одинаковых объектов, если они расположены  на достаточно большом расстоянии, как серьги. Не смотря на то что в обучающих датасетах серьги обычно парные, на фальшивых фото они чаще разной длины.

    Также стоит обратить внимание на глаза. На реальных фотографиях они смотрят в одном направлении и, в большинстве случаев, имеют одинаковый цвет. На многих фото, созданных GAN, глаза могут смотреть в разные точки и быть гетерохромными.

    Уши тоже могут быть разного размера и не совпадать по высоте.

    Зубы

    зубы на фейковых фото

    GAN может генерировать смещенные зубы, зубы неправильных размеров и пропорций. Похожая проблема возникает при работе с повторяющимися деталями, например, при синтезе текстуры с кирпичами.

    Растрепанные волосы

    волосы на фейковых фотографиях gan

    Быстрый способ идентифицировать сгенерированное GAN изображение. Сеть собирает волосы в пучки, создает случайные пучки вокруг головы и на лбу. Работа с волосами — одна из самых сложных для GAN, потому что прически имеют много вариаций и деталей.

    Смешивание гендеров

    ошибки gan на фотографиях

    Эта GAN была обучена на датасете CelebA , который  содержит 200 000 изображений лиц 10 000 знаменитостей. В наборе данных не было примеров людей одновременно с волосами на лице, косметикой и серьгами, но GAN может смешивать подобные признаки.

    Шум

    артефакты на фотографиях GANНекоторые монохромные области демонстрируют непостоянный шум с горизонтальными или вертикальными полосами. В приведенных выше случаях сеть пытается имитировать текстуру ткани. Старые GAN чаще создают искажения в виде шахматной доски.

    Переливы цвета

    переливы цвета ganОбласти светлых цветов — одежда, воротники, шея, белки глаз, могут иметь цветные радужные переливы.

    Примеры реальных изображений людей

    реальные фото людей

    Теперь посмотрите фото с реальными людьми. Обратите внимание на фон, симметрию, прически. Можно снова пройти тест и посмотреть, насколько уменьшилось количество ошибок.

    Инструменты, которые позволят автоматизировать проверку фейкового контента, уже в разработке. Американские исследователи создали алгоритм, который распознаёт видео с фейками c 99% точностью, анализируя частоту морганий, а нейросеть от Adobe разоблачает поддельные фотографии, автоматически выявляя обработанные и измененные части изображения.