Ученые Мичиганского университета представили алгоритм, который поможет автономным автомобилям распознавать направление и предсказывать движения пешеходов. Собрав данные с помощью камер, лидаров и GPS, разработчики создали датасет и обучили рекуррентную нейронную сеть предсказывать движения человека c точностью до 10 см.
Нейронная сеть Bio-LSTM
Модель называется Bio-LSTM. Это рекуррентная нейронная сеть с LSTM, которая может предсказать местоположение и 3D-позу пешехода на основе предыдущего кадра. Сеть способна прогнозировать позу на расстоянии до 45 метров для нескольких пешеходов одновременно. Подход опирается на анализ темпа человека, включая зеркальную симметрию тела и изучения того, как положение ног влияет на устойчивость во время походки.
Обучение
Нейросеть обучили на наборе данных PedX, который был собран в реальных городских условиях на перекрестках. Автомобили с четвертым уровнем автономности записывали данные с помощью камер, лидаров и GPS. Используя видеозаписи с движениями длиной в несколько секунд, сеть обучилась прогнозировать движение. Сначала ей показывался первый фрагмент видео с началом движения, затем система делала прогноз, после чего проверяла точность, сверяя свой результат с информацией из второй части видео.
Результаты
Разработчики протестировали метод на датасете PedX и на данных из mocap. Результаты показывают, что метод можно использовать для предсказания и классификации движений пешеходов. Точность сопоставима с другими современными методами.
Другие результаты можно посмотреть в статье, опубликованной разработчиками.
Работа направлена на прогнозирование действий пешеходов на перекрестках. Исследователи отмечают, что она также будет полезна в исследованиях походки двуногих роботов и в разработке клинических методов реабилитации походки.
