Как нейронные сети обеспечивают работу роботов-доставщиков

Роботы-курьеры (или роботы-доставщики) — одно из перспективных направлений в робототехнике. Компании из США, Европы, Кореи и Японии запускают автономных роботов, которые доставляют продукты и товары из магазинов домой или в офис к покупателям. Роботы Kiwi, Starship, Marble, Nurо, Cleveron, Postamates и множество других уже перемещаются по тротуарам и улицам и в будущем полностью заменят курьеров-людей. 

Tanel Pärnamaa, инженер по глубокому обучению в Starship Technologies, рассказал изданию Robotics & Automation News, как нейронные сети помогают роботам-доставщикам распознавать окружение, анализировать информацию и безопасно перемещаться по улицам. 

Первые роботы Starship начали работу в США в марте 2017 года. В октябре 2018 компания запустила в США и Великобритании автономную службу доставки.  В декабре роботы Starship начали работу по доставке продуктов в одном из районов Таллина — Мустамяэ. 

Кодирование информации

Роботы оснащены камерами, GPS и датчиками движения, с помощью которых получают информацию об окружающей среде. Однако большая часть полученной информации — низкоуровневая и несемантическая. Доставщик понимает, что объект находится в 10 метрах, но не знает, к какой категории он относится (пешеход, велосипед, животное и др.). Ему сложно решить, что делать дальше. Машинное обучение и нейронные сети помогают преобразовывать эти неструктурированные низкоуровневые данные в данные высокого уровня.

Роботы должны иметь представление об окружающей среде в реальном времени. В приведенном выше примере с пешеходами и велосипедистами робот должен не только видеть их, но и понимать в каком направлении они движутся и как быстро.

Обнаружение объектов

Получать информацию такого рода помогает модуль обнаружения объектов — программа, которая получает на вход изображения и возвращает список блоков объектов. Но это само по себе не просто, потому что изображение — это массив, состоящий из множества чисел, отображающих интенсивность пикселей. Эти значения меняются в разных средах: ночью, когда изменяется цвет, масштаб или положение объекта, или когда сам объект обрезан или частично закрыт.

В таких случаях машинное обучение работает лучше, чем программирование. В Starship используются нейронные сети, которые обучаются самостоятельно — код пишется самой моделью. Программа представлена набором весов. Это помогает визуализировать, что пытается обнаружить каждый конкретный нейрон. Первые слои сети определяют горизонтальные и вертикальные края объектов. Следующий блок слоев обнаруживает сложные текстуры, а высокие слои обнаруживают детали. Итеративно изменяя веса, алгоритм оптимизации предсказывает ограничивающие блоки вокруг объектов все более и более точно.

Предобучение моделей

В Starship используют частично обученные модели, оптимизируя пространство поиска и сужая его до ситуаций, которые чаще всего встречаются в реальном мире. Это удобно в контексте автономной доставки, когда модель должна понимать, робот находится на тротуаре или, например, пересекает улицу. Разработчики кодируют соответствующий глобальный контекст в архитектуру и модель просто выбирает, какой из них использовать, без необходимости изучать все с нуля.

Таким образом нейронные сети позволяют роботам-курьерам безопасно передвигаться по тротуарам и пешеходным переходам, анализировать направления движения объектов и избегать препятствий без помощи человека-оператора. К концу 2018 роботы Starship преодолели 200 000 км в 20 странах и 100 городах, доставляя продукты и другие небольшие грузы. 

Ошибки в работе

14 декабря один из роботов-доставщиков загорелся в студенческом кампусе университета Беркли в Сан-Франциско. В результате пострадавших людей не обнаружилось, но студенты устроили роботу настоющую панихиду, некоторые приносили свечки на место трагедии:

so a delivery robot caught fire on berkeley’s campus and students set up a candlelight vigil for it pic.twitter.com/alen7vF7Ho

— James Wenzel ? (@ratherbright) December 15, 2018

Производитель робота KiwiBot заявил, что ошибка связана с воспламенением батареи в результате человеческой ошибки — кто-то поставил роботу дефектную деталь. Похожая проблема была у Samsung Galaxy Note 7, некоторые из которых взрывались в руках у пользователей. Разрабочики обещают встроить дополнительную проверку в алгоритм, чтобы такого не повторилось. Это уже не первый «смертельный» случай — до этого другой робот свалился в бассейн в Вашингтоне.