fbpx
  • DCNAS: автоматический поиск архитектуры сети для сегментации изображений

    Методы нейронного поиска архитектуры (NAS) потенциально могут облегчить разработку архитектуры нейросетей. Однако существующие NAS алгоритмы обычно работают с ограниченным пространством поиска и ищут архитектуру на датасете, который схож с целевым. Исследователи предлагают Densely Connected NAS (DCNAS) фреймфорк, который позволяет более глубокий поиск архитектур. Кроме того, DCNAS позволяет избежать разницы между целевым датасетом и прокси-датасетом для поиска архитектуры.

    Модель напрямую ищет оптимальную структуру сети для представления изображений на целевом датасете. Архитектура из DCNAS выдает state-of-the-art результаты на задаче семантической сегментации. Модель тестировали на датасетах Cityscapes, PASCALVOC 2012, Pascal-Context и ADE20K.

    DCNAS основывается на двух принципах:

    1. Пространство поиска должно быть достаточно понятным, чтобы уместить большинство популярных архитектур и ранее не использованные архитектуры;
    2. Отсутствие необходимости искать архитектуру на прокси-датасете меньшего размера, который отличается от целевого датасета 

    Первый принцип реализован в DCNAS с помощью сетчатой полносвязной структуры пространства поиска. Отдельные пути в пространстве отвечают за разные архитектуры. Чтобы решить вторую подзадачу, исследователи предлагают модуль объединения (fusion module), который позволяет сократить требования к памяти во время обучения. Например, для датасета Cityscapes поиск оптимальной архитектуры с помощью DCNAS занял 5.6 GPU дней.

    Архитектура модели

    Densely Connected Search Space (DCSS) — это сетчатое пространство поиска, которое нацелено на объединение семантических признаков. Чтобы выбрать структуру сети, достаточно отобрать связи в пространстве поиска и присвоить операции каждому слою.

    Визуализация структуры пространства поиска (DCSS)

    Тестирование модели

    Исследователи протестировали модель на датасетах Cityscapes, PASCALVOC 2012, Pascal-Context и ADE20K. На Cityscapes DCNAS обошла существующие state-of-the-art нейросети.

    Сравнение моделей на задаче семантической сегментации изображений