fbpx
  • Рекуррентная сеть Bio-LSTM предсказывает движения пешеходов

    предсказания движения пешеходов нейронная сеть lstm

    Ученые Мичиганского университета представили алгоритм, который поможет автономным автомобилям распознавать направление и предсказывать движения пешеходов. Собрав данные с помощью камер, лидаров и GPS, разработчики создали датасет и обучили рекуррентную нейронную сеть предсказывать движения человека c точностью до 10 см.

    Нейронная сеть Bio-LSTM

    Модель называется Bio-LSTM. Это рекуррентная нейронная сеть с LSTM, которая может предсказать местоположение и 3D-позу пешехода на основе предыдущего кадра. Сеть способна прогнозировать позу на расстоянии до 45 метров для нескольких пешеходов одновременно. Подход опирается на анализ темпа человека, включая зеркальную симметрию тела и изучения того, как положение ног влияет на устойчивость во время походки.

    Нейронная сеть прогнозирует 3D-позу тела человека на основе 3D-позы предыдущего кадра
    Нейронная сеть прогнозирует 3D-позу тела человека на основе 3D-позы предыдущего кадра

    Обучение

    Нейросеть обучили на наборе данных PedX, который был собран в реальных городских условиях на перекрестках. Автомобили с четвертым уровнем автономности записывали данные с помощью камер, лидаров и GPS. Используя видеозаписи с движениями длиной в несколько секунд, сеть обучилась прогнозировать движение. Сначала ей показывался первый фрагмент видео с началом движения, затем система делала прогноз, после чего проверяла точность, сверяя свой результат с информацией из второй части видео.

    Результаты

    Разработчики протестировали метод на датасете PedX и на данных из mocap. Результаты показывают, что метод можно использовать для предсказания и классификации движений пешеходов. Точность сопоставима с другими современными методами.

    Результаты предсказания разных типов движений
    Результаты предсказания разных типов движений
    Результаты в шумной среде показывают, что нейронная сеть устойчива к шуму в обучающих данных
    Результаты в шумной среде показывают, что нейронная сеть устойчива к шуму в обучающих данных

    Другие результаты можно посмотреть в статье, опубликованной разработчиками.

    Работа направлена на прогнозирование действий пешеходов на перекрестках. Исследователи отмечают, что она также будет полезна в исследованиях походки двуногих роботов и в разработке клинических методов реабилитации походки.