Исследователи MIT представили PIGINet – нейросеть для обучения роботов, которая по описанию задачи, изображению сцены и текущему состоянию перебирает возможные варианты действий и выбирает их наиболее оптимальную последовательность. PIGINet нацелен на ускорение решения роботами бытовых задач путем предварительного выбора правильного плана и, как следствие, сокращения количества ошибочных действий.
Несмотря на то, что роботы владеют некоторыми базовыми навыками после обучения в модельной среде, существует слишком много неправильных действий, которые они могут выполнить для решения задачи, например, приготовления кофе — например, открыть кран, спустить воду в туалете, очистить контейнер для муки и так далее. Но при этом есть и небольшое количество действий, которые приведут к нужному решению. PIGINet сокращает итеративный процесс планирования задач, рассчитывая вероятность успешного выполнения задачи для каждого возможного сценария, и убирает маловероятные варианты.
Исследователи утверждают, что ключевой особенностью нейросети является мультимодальность входных данных, в которые входит изображение сцены, текущий статус и поставленная роботу задача – их наличие позволяет роботу глубже понять сложные геометрические взаимосвязи.
Модель обучалась на небольшом относительно других алгоритмов количестве задач – около 500 штук. Команда исследователей синтезировала сотни виртуальных сред, каждая из которых отличалась планировкой и специфическими задачами, требующими перестановки предметов между столешницами, холодильниками, шкафчиками, раковинами и кастрюлями для приготовления пищи. Измерив время, затраченное на решение задач, они сравнили PIGINet с предыдущими подходами: нейросеть сократила время планирования задач и движения робота на 50-80%. Наилучшее сокращение времени было достигнута в задачах, приближенных к обучающим сценариям и содержащих небольшое количество действий.
