NVIDIA представила Eureka – агента на базе GPT-4 c открытым исходным кодом, обучающего роботов сложным навыкам, таким как выполнение трюков и работу с ножницами.
Большие языковые модели ранее уже показали свою эффективность для высокоуровневого семантического планирования в задачах последовательного принятия решений. В NVIDIA эту возможность применили в задаче автономного написания алгоритмов вознаграждения для обучения роботов.
Eureka – набор алгоритмов, с которыми разработчики могут работать, используя NVIDIA Isaac Gym, приложение для физического моделирования на основе обучения с подкреплением. Isaac Gym построен на NVIDIA Omniverse, платформе для создания 3D-инструментов и приложений.
С помощью инструмента разработчики NVIDIA обучили роботов более 30 действиям, включая открывание ящиков и шкафов, а также подбрасывание и ловлю мячей. В частности, впервые удалось обучить робота с пятью пальцами жонглировать ручкой. Программы вознаграждения, созданные Eureka, превосходят программы, написанные экспертами-людьми, более чем в 80% задач. Это приводит к повышению производительности обучения в среднем на 52%. Исследователи также предоставили детальные отчеты по обучению роботов 20 заданиям с помощью Eureka, основанные на открытых бенчмарках ловкости роботов.
Агент не требует подсказок для решения конкретной задачи или предопределенных шаблонов вознаграждений и допускает получение обратной связи от пользователя для коррекции конечной цели обучения. Eureka формирует сводную информацию о ключевых статистических данных по результатам обучения и инструктирует языковую модель улучшить функции вознаграждений.
Инструмент может обучать робота с произвольными количеством и конструкцией конечностей.
