fbpx
  • DRIVE Labs: распознавание визуальных признаков для автономных автомобилей

    DRIVE Labs — это нейросетевая система для распознавания визуальных признаков на дорогах от NVIDIA.

    Распознавание признаков и оценка попиксельного соответствия между видеокадрами являются ключевыми задачами для оценки движения объекта. Чтобы сгенерировать точную 3D модель окружающей среды, необходимо отслеживать визуальные признаки с сенсоров. Отслеживание визуальных признаков основано на попиксельных сравнениях между кадрами на видео.

    Данные собираются с 6 камер, которые предустановлены на автомобиле. Пока автомобиль едет, информация в формате пикселей искажается из-за изменений в освещении, в точке обзора и из-за сложностей, связанных с движущимися объектами в кадре. В компьютерном зрении существуют 3 общих подхода к этой проблеме:

    1. Распознавание признаков с помощью сжатого оптического потока;
    2. Распознавание признаков с помощью разреженного оптического потока;
    3. Методы, основанные на нейросетях

    Собрать данные с покадровым соотнесением визуальных признаков — это ресурсоемкий процесс. Чтобы оптимизировать точность, устойчивость и эффективность вычислений модели, исследователи используют подход, основанный на сжатом оптическом потоке. Вместо попиксельного вычисления оптического потока изображения, оптический поток считается только для отдельно отобранных пикселей с признаками.

    Подробнее про систему

    Система состоит из трех основных шагов:

    1. Предобработка изображения;
    2. Распознавание признаков;
    3. Покадровое отслеживание признаков 

    Процесс предобработки изображения извлекает информацию о градиентах из изображения. На шаге с распознаванием признаков эти данные используются для определения заметных точек с признаками на изображении. На последнем этапе модель, основанная на оптическом потоке, отслеживает распознанные признаки и оценивает их движении. 

    Воспользоваться системой можно в версии NVIDIA DRIVE Software 9.0.