DRIVE Labs — это нейросетевая система для распознавания визуальных признаков на дорогах от NVIDIA.
Распознавание признаков и оценка попиксельного соответствия между видеокадрами являются ключевыми задачами для оценки движения объекта. Чтобы сгенерировать точную 3D модель окружающей среды, необходимо отслеживать визуальные признаки с сенсоров. Отслеживание визуальных признаков основано на попиксельных сравнениях между кадрами на видео.
Данные собираются с 6 камер, которые предустановлены на автомобиле. Пока автомобиль едет, информация в формате пикселей искажается из-за изменений в освещении, в точке обзора и из-за сложностей, связанных с движущимися объектами в кадре. В компьютерном зрении существуют 3 общих подхода к этой проблеме:
- Распознавание признаков с помощью сжатого оптического потока;
- Распознавание признаков с помощью разреженного оптического потока;
- Методы, основанные на нейросетях
Собрать данные с покадровым соотнесением визуальных признаков — это ресурсоемкий процесс. Чтобы оптимизировать точность, устойчивость и эффективность вычислений модели, исследователи используют подход, основанный на сжатом оптическом потоке. Вместо попиксельного вычисления оптического потока изображения, оптический поток считается только для отдельно отобранных пикселей с признаками.
Подробнее про систему
Система состоит из трех основных шагов:
- Предобработка изображения;
- Распознавание признаков;
- Покадровое отслеживание признаков
Процесс предобработки изображения извлекает информацию о градиентах из изображения. На шаге с распознаванием признаков эти данные используются для определения заметных точек с признаками на изображении. На последнем этапе модель, основанная на оптическом потоке, отслеживает распознанные признаки и оценивает их движении.
Воспользоваться системой можно в версии NVIDIA DRIVE Software 9.0.
