![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-14-v-15.46.36-min.png)
DeepPrivacy — это генеративная нейросеть для анонимизации лиц на изображении. Модель распознает лица на изображении и заменяет их на сгенерированные. Датасет, на котором обучалась модель, с 1.47 миллионом изображений лиц был опубликован. Для каждого лица на изображении есть разметка ключевых точек лица и границ лица. Исследователи предлагают новую архитектуру генератора, которая полностью избавляется от приватной информации на изображении.
Датасет с лицами
Лица были извлечены из датасета YFCC100-M, в котором содержится 1.08 миллион изображений. Для разметки ключевых точек лица использовалась Mask R-CNN архитектура с базовой моделью ResNet-50 FPN. Границы лиц на изображениях распознавались с помощью Single Shot Scaleinvariant Face Detector. Чтобы объединить предсказания обоих нейросетей, исследователи соотносили предсказания ключевых точек и границ лица, если разметка глаза и носа находились в рамках одного bounding box.
Архитектура DeepPrivacy
Генератор имеет архитектуру U-net, чтобы учитывать информацию о заднем фоне изображения при обучении. Кодировщик и декодировщик имеют одинаковое количество фильтров на каждой свертке. Однако у декодера есть дополнительная свертка после каждой skip connection.
После каждого сверточного слоя идет слой с нормализацией пикселей и LeakyReLU.
![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-15-v-11.57.29-min-570x219.png)
Примеры работы модели
Работа модели валидировалась на датасете WIDER Face. Исследователи сравнивали DeepPrivacy с другими подходами для анонимизации лиц: затемнение, замена на крупные пиксели и размытие. Ниже видно, что DeepPrivacy на всех задачах близок или обходит state-of-the-art результаты.
![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-15-v-11.59.43-min-570x231.png)
![](https://neurohive.io/wp-content/uploads/2019/09/Snimok-ekrana-2019-09-15-v-12.01.20-min-570x192.png)