fbpx
  • AFDet: легковесная нейросеть для распознавания объектов в 3D

    Распознавание объектов в 3D облаке точек на встраиваемых системах активно применяется в робототехнике, включая автономное вождение. Большинство прошлых работ пытаются решить задачу с помощью anchor-based методов распознавания объектов. Однако такие методы имеют два ограничения:

    1. Постобработка предсказаний является комплексной и вычислительно дорогой;
    2. Сложности с настройкой параметров anchor

    Исследователи обходят эти ограничения с помощью anchor-free нейросети. AFDet — это одноэтапная нейросетевая модель для распознавания объектов в 3D облаке точек. Вся AFDet может быть обучена на GPU с упрощенным процессов постпроцессинга. На датасетах KITTI и Waymo модель выдает сравнимые с anchor-based подходами результаты.

    Что внутри модели

    Фреймворк обучения AFDet состоит из энкодера облака точек, базовой сети и anchor-free детектора. В качестве кодировщика облака точек используется PointPillars

    Визуализация составных частей нейросети и детализированная структура детектора
    Структура базовой сети

    Оценка работы модели

    Исследователи сравнивали вариации предложенного anchor-free подхода с существующей моделью PointPillars. При этом PointPillars не является anchor-free. Ниже видно, что AFDet с полумиллионом параметров выдает сравнимые с PointPillars результаты. 

    Сравнение PointPillars и AFDet на валидационном сете KITTI