Исследователи из MIT разработали алгоритм компьютерного зрения Dense Object Net, который помогает роботам в реальном времени распознавать, анализировать и определять назначение новых объектов.
Теперь роботы смогут лучше манипулировать предметами — выбирать нужный предмет из нескольких, оценив его свойства.
Как работает алгоритм
Сначала робот фотографирует объект с разных сторон. Затем нейронная сеть Dense Object Net создаёт уникальные координаты для каждой точки объекта. Робот различает цвета и формы, и способен, например, достать коричневый ботинок из кучи обуви.
Алгоритм видит объект как множество точек в системе координат, создавая 3D карту, которая помогает роботу анализировать с какой стороны и как захватить объект. Например, поднять ботинок за язычок. Робот также понимает, где ось координат объекта и различает право и лево. Для анализа объекта алгоритму требуется в среднем 20 минут. Нейронная сеть обучается без учителя, поэтому чтобы изучить объект, алгоритм использует те фотографии, которые были сделаны для создания карты с координатами.
Система использует RGBD сенсоры для реконструкции 3D модели захватываемого объекта. Это позволяет анализировать объекты и с простыми и со сложными формами. За время тестирования робот распознал и проанализировал 47 объектов из 3 классов: обувь, шляпы и кружки.
Метод будет полезен для совершенствования роботов на производствах и складах.
Ссылка на GitHub проекта.
