В 2014 году Ян Гудфеллоу представил идею генеративно-состязательных сетей или GAN. Они называются «генеративными», потому что получают на выходе изображения, а «состязательными» — потому что представляют собой две сети, конкурирующие друг с другом. Первая старается обмануть вторую, создавая примеры фото, а вторая пытается отличить настоящие изображения от поддельных.
К 2017 году GAN уже научились создавать убедительные фейки, которые трудно отличить от реальных фото. Подобные технологии могут применяться в рекламе и видеоиграх, но также могут стать инструментом дезинформации.
Тест
Сначала попробуйте самостоятельно распознать фальшивые фото с помощью этого теста. После этого возвращайтесь к чтению статьи.
Как видите, в 2014 GAN создавали изображения, которые легко отличить от реальных фотографий.
На изображении ниже примеры лиц, сгенерированных нейросетью в 2017:
Узнать, настоящий ли человек на фото можно обратив внимание на ряд деталей. Фотографии, созданные нейросетью, отличаются небольшими артефактами. Примеры будут приведены именно с лицами, потому что на лицах лучше видны изменения. Эти же артефакты помогут распознать и другие виды фейковых изображений.
Волосы выглядят размазанными или окрашенными
Такой артефакт характерен для длинных волос. Большая часть выглядит одинаково, но одна или несколько прядей не полностью прямые и выбиваются из общей картины — как будто волосы немного размазаны или покрашены большой кистью.
Непонятный текст
GAN, которые обучаются созданию лиц, испытывают трудности с созданием текста на фоне. Сети тренируются на двух версиях фото — оригинальной и зеркальной. Поэтому созданный текст может быть отображен в другую сторону.
Сюрреалистичный фон
Данные для обучения GAN центрируются, чтобы лица выглядели правдоподобно, например, чтобы глаза и уши находились на своих местах. Фон, в свою очередь, может содержать что угодно, поэтому GAN просто генерирует “фоноподобные” текстуры.
Ассиметрия
Сеть может испытывать трудности с созданием одинаковых объектов, если они расположены на достаточно большом расстоянии, как серьги. Не смотря на то что в обучающих датасетах серьги обычно парные, на фальшивых фото они чаще разной длины.
Также стоит обратить внимание на глаза. На реальных фотографиях они смотрят в одном направлении и, в большинстве случаев, имеют одинаковый цвет. На многих фото, созданных GAN, глаза могут смотреть в разные точки и быть гетерохромными.
Уши тоже могут быть разного размера и не совпадать по высоте.
Зубы
GAN может генерировать смещенные зубы, зубы неправильных размеров и пропорций. Похожая проблема возникает при работе с повторяющимися деталями, например, при синтезе текстуры с кирпичами.
Растрепанные волосы
Быстрый способ идентифицировать сгенерированное GAN изображение. Сеть собирает волосы в пучки, создает случайные пучки вокруг головы и на лбу. Работа с волосами — одна из самых сложных для GAN, потому что прически имеют много вариаций и деталей.
Смешивание гендеров
Эта GAN была обучена на датасете CelebA , который содержит 200 000 изображений лиц 10 000 знаменитостей. В наборе данных не было примеров людей одновременно с волосами на лице, косметикой и серьгами, но GAN может смешивать подобные признаки.
Шум
Некоторые монохромные области демонстрируют непостоянный шум с горизонтальными или вертикальными полосами. В приведенных выше случаях сеть пытается имитировать текстуру ткани. Старые GAN чаще создают искажения в виде шахматной доски.
Переливы цвета
Области светлых цветов — одежда, воротники, шея, белки глаз, могут иметь цветные радужные переливы.
Примеры реальных изображений людей
Теперь посмотрите фото с реальными людьми. Обратите внимание на фон, симметрию, прически. Можно снова пройти тест и посмотреть, насколько уменьшилось количество ошибок.
Инструменты, которые позволят автоматизировать проверку фейкового контента, уже в разработке. Американские исследователи создали алгоритм, который распознаёт видео с фейками c 99% точностью, анализируя частоту морганий, а нейросеть от Adobe разоблачает поддельные фотографии, автоматически выявляя обработанные и измененные части изображения.
