Глубокое обучение стремительно развивается и показывает великолепные результаты в широком спектре задач. Методы глубокого обучения используется во многих приложениях, где важна безопасность. Однако, несмотря на замечательные результаты, зачастую превосходящие человеческие возможности, методы глубокого обучения уязвимы для специальных входящих данных. Данные такого вида названы состязательные (англ. adversarial) образцы. Разработчики соревнуются в проектировании соревновательных атак с одной стороны и создании механизмов защиты с другой.
Задача состязательной атаки хорошо синергирует с задачами Computer Vision, например, распознавание объектов, классификация. В области обработки изображений с помощью глубокого обучения, небольшие выбросы во входных данных могут вести к значительным изменениям на выходе. Такие изменения почти незаметны для человека и не меняется семантику изображения, но они способны обмануть методы глубокого обучения.
Состязательные атаки — важный инструмент при работе с требовательными к безопасности приложениями, такими как распознавание личности, контроль доступа и т.д. Одна из целей состязательных атак — обучение распознаванию лиц.
Предыдущие работы
Превосходные результаты методов глубокого обучения в сфере распознавания лиц признаны сообществом. В прошлом состязательные атаки были нацелены на системы распознавания лиц. Главным образом, эти атаки могут быть разделены на две большие группы: состязательные атаки, основанные на геометрии или на интенсивности. Многие из них успешно обманули системы распознавания лиц. Но вместе с тем было предложено несколько защитных механизмов, которые позволят справляться с такими типами атак.
-
Сравнение предлагаемой атаки (вторая колонка) и атаки, основанной на интенсивности (3 колонка)
Чтобы использовать уязвимость систем распознавания лиц и обойти защитные механизмы, были разработаны более сложные состязательные атаки. Некоторые из них меняют интенсивность пикселей, в то время как другие пытаются преобразовать доброкачественные изображения для пространственной атаки.
State-of-the-art идея
Исследователи из Университета Западной Вирджинии предложили новый быстрый метод для создания состязательных изображений лица. Целью их подхода является определение модели трансформации лица на основе опорных точек (landmark) лица.
Новый метод
Задача манипулирования изображением для преобразования его в состязательный образец была решена с помощью манипуляции опорными точками. Этот метод основан на оптимизации поля смещения, который используется для пространственной обработки входного изображения. Это атака на основе геометрии, способная генерировать состязательный образец, только изменяя ряд опорных точек.
Принимая во внимание тот факт, что положение опорных точек лица дает значимую информацию для алгоримов распознавания лиц, исследователи используют градиенты предсказания для определения расположения опорных точек, чтобы обновлять поля смещения. Схема предлагаемого метода для создания сопутствующих изображений лица показана на рисунке ниже.
-
Оптимизация поля смещения для создания состязательных опорных точек (adversarial landmark locations)
Чтобы преодолеть проблему множества возможных обновлений поля смещения из-за возможного различного направления градиентов, они предлагают семантически группировать опорные точки. Это позволяет манипулировать групповыми свойствами вместо того, чтобы изменять каждую точку по отдельности для получения естественных изображений.
-
Группировка опорных точек по семантическим областям
Результаты
Новый состязательный генератор лица оценивался путем измерения и сравнения успешности атак с использованием нескольких методов защиты. Для дальнейшего изучения задачи создания состязательных образцов изображений лица исследователи оценивают, как пространственное манипулирование областями лица влияет на работу системы распознавания лиц.
Во-первых, производительность оценивалась по сценарию атаки «с белым ящиком» в наборе данных CASIA-WebFace. Было проведено шесть экспериментов для изучения важности каждого региона лица в предлагаемых методах атаки. Они оценивали эффективность атак на каждую из пяти основных областей лица, включая 1) брови, 2) глаза, 3) нос, 4) рот, 5) челюсть и 6) все области. Результаты приведены в таблице.
-
Сравнение результатов атак FLM и GFLM с stAdv, и влияние различных областей лица
Исследователи вычисляют предсказание истинного класса для лиц, которые правильно классифицируются и их манипулированные версии.
Сравнение с другими современными методами
В рамках этого исследования было проведено сравнение с несколькими существующими методами для создания состязательных лиц. Они сравнивают методы с точки зрения успешности атак, а также скорости.
-
Сравнение предложенных атак FLM и GFLM с FGSM и stAdv при использовании современных средств защиты
-
Линейная интерполяция заданных свойств лица
Заключение
Эксперименты показали, что предсказание модели распознавания лиц имеет линейный тренд, который зависит от параметров модели и расположения лицевых точек на входном изображении. Это показывает, что можно напрямую манипулировать лэндмарками лица с использованием градиента предсказания по отношению к входному изображению.
Манипуляция опорными точками может быть надежным способом влияния на предсказания классификаторов распознавания лиц. Новый метод может генерировать состязательные лица примерно в 200 раз быстрее, чем другие подходы, основанные на геометрии. Этот метод создает естественные образцы и может обмануть самые современные защитные механизмы.
