Квадрокоптер уворачивается от препятствий на высокой скорости с помощью нейросетей

Исследователи встроили в квадрокоптер нейросетевую систему для обхода препятствий. В экспериментальных условиях квадрокоптер сталкивался с малоосвещенной средой и движущимися предметами. Система успешно справлялась с задачей в 70% случаев. Это первое нейросетевое решение для обхода движущихся объектов в квадрокоптере.

Ранние попытки обучить модель уворачиваться от препятствий фокусировались на статичных препятствиях. Это связано с недостатком высокоскоростных визуальных сенсоров и масштабируемых алгоритмов. Сейчас стандартом для задач оценки движений являются нейроморфные сенсоры. Исследователи формулируют задачу general navigation и предлагают метод ее решения. Помимо этого, исследователи описывают, как они внедряли обученную нейросеть в систему квадрокоптера.

Как это работает

Система имеет одну монокулярную камеру, которая устанавливается в передней части устройства и фиксирует происходящее. Также есть еще одна камера с разрешением ниже, которая установлена в нижней части квадрокоптера с сонаром и инерциальным измерительным модулем.

Камеры, которые фиксируют события, были выбраны из-за высокого разрешения, низкой задержки, высокой динамичности и разреженности данных. На вход нейросети поступает последовательность изображений с камер. На выходе модель отдает предсказанные пути для обхода объектов с камер.

Сама модель состоит из трех частей:

1. EVDeBlurNet — это CNN, которая отвечает за генерацию не заблюренных изображений с камер. Архитектура нейросети — кодировщик-декодировщик с 4 конволюционными и деконволюционными слоями с батч-нормализацией;
2. EVHomographyNet нужна для получения одометрии с квадрокоптера;
3. EVSegFlowNet сегментирует независимо движущиеся объекты с камер и предсказывает направление движения квадрокоптера. Архитектура это части нейросети также основана на CNN. EVSegFlowNet принимает на вход модифицированный выход EVDeBlurNet.

Оценка результатов модели

Таблица ниже показывает количественные результаты экспериментов EVHomographyNet. Результаты работы модели сравнивались с другими методами для оценки гомографии.

В качестве метрик исследователи выбрали две вариации среднего корня среднеквардартичной ошибки: RMSE_i и RMSE_o. RMSE_o оценивает, как хорошо нейросеть может предсказывать объекты, которых не было в обучающей выборке.