fbpx
  • DeepPrivacy: нейросеть анонимизирует изображения

    DeepPrivacy — это генеративная нейросеть для анонимизации лиц на изображении. Модель распознает лица на изображении и заменяет их на сгенерированные. Датасет, на котором обучалась модель, с 1.47 миллионом изображений лиц был опубликован. Для каждого лица на изображении есть разметка ключевых точек лица и границ лица. Исследователи предлагают новую архитектуру генератора, которая полностью избавляется от приватной информации на изображении.

    Датасет с лицами 

    Лица были извлечены из датасета YFCC100-M, в котором содержится 1.08 миллион изображений. Для разметки ключевых точек лица использовалась Mask R-CNN архитектура с базовой моделью ResNet-50 FPN. Границы лиц на изображениях распознавались с помощью Single Shot Scaleinvariant Face Detector. Чтобы объединить предсказания обоих нейросетей, исследователи соотносили предсказания ключевых точек и границ лица, если разметка глаза и носа находились в рамках одного bounding box.

    Архитектура модели

    Генератор имеет архитектуру U-net, чтобы учитывать информацию о заднем фоне изображения при обучении. Кодировщик и декодировщик имеют одинаковое количество фильтров на каждой свертке. Однако у декодера есть дополнительная свертка после каждой skip connection.

    После каждого сверточного слоя идет слой с нормализацией пикселей и LeakyReLU.

    Визуализация составных частей генератора

    Примеры работы модели

    Работа модели валидировалась на датасете WIDER Face. Исследователи сравнивали DeepPrivacy с другими подходами для анонимизации лиц: затемнение, замена на крупные пиксели и размытие. Ниже видно, что DeepPrivacy на всех задачах близок или обходит state-of-the-art результаты.

    Выборочные примеры работы нейросети. Все лица на изображениях были сгенерированы
    Количественное сравнение подходов. Метрика — Average Precision (AP)