fbpx
  • Предобучение моделей для облаков точек через заполнение

    Группа исследователей из Oxford, Cambridge, UC Berkeley и UCL предложили новый метод предобучения моделей для облаков точек. Метод основывается на задаче заполнения облака точек. Нейросеть выучивается восстанавливать облака точек. Затем предобученную модель можно дообучить на целевой задаче.

    Описание проблемы

    Облака точек находят применение в робототехнике и беспилотном вождении. Такие задачи, как распознавание объектов в 2D и в 3D и сегментация, усложняются за счет неполных данных.

    Часто облака точек из реального мира, которые получают с помощью статичных сенсоров, являются разреженными. Кроме того, они захватывают информацию только с одного отдельного угла обзора. Часть сцены, которая перекрыта другими объектами, полностью отсутствует в облаке точек. Это усложняет процесс обработки и извлечения информации из облаков точек. Чтобы решить эту проблему, исследователи вводят задачу для предобучения моделей облаков точек.

    Подробнее про метод

    В OcCo модель сначала принимает на вход полное облако точек и генерирует частичные облака точек, которые друг друга перекрывают, через изменение угла обзора и оценку поверхности объекта со стороны камеры. Затем по частичным облакам точек модель выучивается генерировать полное облако. В качестве архитектуры использовали энкодер-декодер модель, которая обучалась self-supervised.

     

    Схема предложенного метода
    Веса из предобученной модели затем можно использовать при инициализации для любой целевой задачи. Использование предобучения улучшает качество моделей.

    Researchers showed that their approach, nicknamed OcCo is able to capture visual constraints and help downstream models better converge to optimal solutions. The experiments confirmed that the approach is transferable across different point cloud datasets and that it can reduce training i.e. convergence time.