fbpx
  • Как обмануть детектор самолётов на аэрофотографиях

    Исследователи использовали состязательные атаки с патчами для изображений с воздуха, чтобы скрыть самолёты от нейросетевых детекторов. Патч может предотвратить автоматическое распознавание объекта при покрытии малой части объекта на изображении. Исследователи протестировали разные конфигурации патчей, меняя размер, расположение, количество и яркость. По результатам экспериментов, состязательная атака с патчами по качеству скрытия объекта на изображении конкурирует с традиционными методами.

    Описание проблемы

    Задачу распознавания военных ресурсов на земле решают с помощью нейросетевых детекторов на данных с дронов. Стандартным способом сокрытия объектов является использование камуфляжа. Например, с помощью камуфляжных сеток. Альтернативным подходом является прямой обман детекторов с помощью патчей на объектах. Если использовать уникальный патч и верно подобрать место для размещения патча, модель не сможет распознать объект. Состязательные атаки успешно скрывают присутствие человека на изображении с помощью патчей. Сложностью в этом способе сокрытия объектов заключается в оптимальной конфигурации патчей.

    Патчи на изображениях с воздуха

    Патчи на изображениях размещались автоматически:

    1. Сначала на входном изображении распознаются самолёты. В качестве архитектуры детектора использовали YOLO модель;
    2. На каждый распознанный самолёт накладывается патч в соответствии с конфигурациями
    Визуализация составных частей подхода

    Исследователи экспериментировали с размером, яркостью, количеством и расположением патчей. Ниже видно, что использование большого по размеру патча снижало точность детектора с 100% до 5.58%.

    Изменение метрики качества детектора (AP) для патчей разного типа