• EfficientPS: state-of-the-art модель для паноптической сегментации

    EfficientPS — это нейросетевая модель для паноптической сегментации объектов на изображении. На данный момент модель обходит state-of-the-art подходы на датасетах Cityscapes, KITTI, Mapillary Vistas и IDD.

    Паноптическая сегментация

    Одним из подходов к оценке сцены изображения является паноптическая сегментация. Цель паноптической сегментации заключается в том, что бы использовать одну сверточную сеть одновременно для распознавания объектов и на переднем плане, и на заднем плане изображения. Паноптическая сегментация объединяет в себе семантическую и instance сегментации. 

    Ограничения текущих подходов для паноптической сегментации заключаются в вычислительной неэффективности, медленном обучении и нестабильности результатов моделей. EfficientPS разрабатывали, чтобы обойти эти ограничения. Модель выдает более точные результаты в сравнении с state-of-the-art. При этом она быстрее обучается.

    Что внутри EfficientPS

    Архитектура модели состоит из следующих компонентов:

    • Общая базовая модель, которая основывается на EfficientNet;
    • Двухсторонняя FPN;
    • Семантический модуль (semantic head);
    • Сверточный instance модуль, который основан на Mask R-CNN;
    • Паноптический модуль, который объединяет результаты семантического и instance модулей 
    Визуализация структуры сети

    Оценка работы модели

    Исследователи оценили работу EfficientPS на 4 датасетах с изображениями улиц: Cityscapes, Mapillary Vistas, KITTI и IDD. EfficientPS обошла state-of-the-art подходы для паноптической сегментации на датасете Cityscapes. При этом предложенный подход требует меньшего количества параметров и вычислительных ресурсов и быстрее работает на инференсе. Для датасетов Mapillary Vistas, KITTI и IDD EfficientPS выдает сравнимый с state-of-the-art результаты.


    neurohive telegram
    Подписаться
    Уведомить о
    guest

    0 Comments
    Старые
    Новые Популярные