fbpx
  • CenterMask: instance сегментация в реальном времени

    CenterMask — это нейросетевая модель для instance сегментации в реальном времени. Нейросеть основывается на архитектуре одноступенчатого детектора объектов FCOS. Исследователи добавили к FCOS архитектуре новый блок spatial attention-guided mask (SAG-Mask). SAG-Mask предсказывает маску сегментации для каждого бокса объекта. При предсказании SAG-Mask учитывает карту пространственного внимания (spatial attention map), чтобы минимизировать шум в предсказанных масках. С ResNet-101-FPN в основании CenterMask достигает 38.3% по AP (Average Precision). Это превышает точность предыдущих state-of-the-art подходов при более высокой скорости. 

    Использование на инференсе полностью сверточных подходов ускоряет выдачу предсказаний. Недавно была опубликована архитектура для instance сегментации, которая также основана на FCOS, — BlendMask.

    Архитектура CenterMask

    CenterMask состоит из трех частей:

    1. Модель в основании (backcone), которая извлекает признаки из изображений;
    2. Блок с детектированием объектов с помощью полностью сверточной одноступенчатой FCOS;
    3. Блок для предсказания маски объекта SAG-Mask. SAG-Mask использует карту пространственного внимания (spatial attention map) при предсказании масок объектов
    Визуализация составных частей модели

    Результаты экспериментов

    Исследователи сравнили CenterMask с state-of-the-art одноступенчатыми решениями для instance сегментации. Нейросети тестировали на датасете COCO. В качестве метрики выбрали Average Precision предсказанных масок. Ниже видно, что CenterMask преимущественно обходит альтернативные подходы в средней точности.

    Сравнение качества моделей на сабсете COCO tes-dev2017