fbpx
  • AdapIS: нейросеть для адаптивной instance сегментации изображения

    AdapIS (Adaptive Instance Selection) — это end-to-end нейросеть для instance сегментации объектов на изображении, которая устойчива к разным классам объектов. На вход модель принимает изображение с координатами расположения объекта. На выходе отдает границы объекта. Чтобы сегментировать объекты паноптически, AdapIS используется как дополнение к модели для семантической сегментации. По результатам экспериментов, архитектура обходит state-of-the-art подходы для паноптической сегментации на датасетах Cityscapes и Mapillary без предобучения на  COCO

    Паноптическая сегментация объединяет в себе преимущества семантической и instance сегментаций. Код модели доступен по ссылке. Устойчивость модели к разным классам объектов обеспечивается с помощью AdaIN слоев. AdaptIS генерирует маски объектов с точностью до пикселя. Модель справляется с ранее неизвестными типами объектов и наложением объектов друг на друга. 

    Различия между типами сегментаций

    Архитектура нейросети

    На вход нейросеть принимает изображение с координатами точки, которая входит в границы объекта. Точка может быть расположена в любой части объекта на изображении. Ниже видно, как влияет расположение точки на результирующую маску объекта.

    Различия результатов модели в зависимости от разных входных данных

    Архитектура AdaptIS строится поверх базовой предобученной нейросети для извлечения признаков. Составные части модели, помимо предобученной нейросети, включают в себя:

    1. Нейросеть для предсказания границ объектов с AdaIN механизмом; 
    2. Контроллер-нейросеть, которая принимает данные точки объекта, обрабатывает их через полносвязные слои и выдает входные данные для AdaIN слоев в нейросети из первого пункта; 
    3. Relative CoordConv блок, который помогает различить схожие объекты, расположенные на разных позициях на изображении
    Визуализация компонентов модели

    Поверка работы нейросети

    Исследователи сравнили state-of-the-art решения для паноптической сегментации на нескольких задачах. Ниже результаты AdaptIS на валидационном сете Cityscapes.

    Количественное сравнение AdaptIS с конкурирующими архитектурами на датасете Cityscapes

    Ниже видно, как AdaptIS справляется с instance сегментация на искусственных данных:

    1. валидационные изображения;
    2. маски объектов, которые выдает Mask R-CNN;
    3. результаты AdaptIS;
    4. пример изображения с большим количеством объектов (сверху) и результат сегментации с помощью AdaptIS (снизу)

    Особенностью Mask R-CNN является сниженная точность предсказаний, когда объекты накладываются друг на друга. Ниже видно, что AdaptIS более устойчива к наложениям объектов. На примере d модель верно разметила 234 из 250 объектов.

    Результаты instance сегментации для сгенерированных данных