fbpx
  • Droidlet: платформа FAIR для разработки интеллектуальных агентов

    FAIR представила Droidlet — open-source платформу, нацеленную на упрощение интеграции широкого спектра современных алгоритмов машинного обучения со сферой робототехники. Droidlet позволяет протестировать на роботах различные алгоритмы компьютерного зрения или заменить одну модель обработки естественного языка другой.

    Droidlet — это модульная, гетерогенная архитектура интеллектуальных агентов и платформа для их создания, находящаяся на пересечении обработки естественного языка, компьютерного зрения и робототехники. Droidlet позволяет исследователям  создавать агентов, которые могут выполнять сложные задачи как в реальном мире, так и в моделируемых средах, таких как Minecraft или Habitat. Агенты могут быть при необходимости обучены на статических или динамических данных.

    Высокоуровневый агент Droidlet состоит из четырех интерфейсов:

    • система памяти, действующая как информационный хаб для остальных модулей агента;
    • набор модулей восприятия (например, обнаружение объектов или оценка позы), которые обрабатывают информацию из внешнего мира и хранят ее в памяти;
    • набор низкоуровневых агентов, таких как “переместиться на три метра вперед” и “поместить предмет в руки в заданных координатах”;
    • контроллер, который в зависимости от состояния системы памяти решает, какие задачи выполнять.

    Droidlet также позволяет исследователям использовать один и тот же интеллектуальный агент на разных роботах, меняя задачи и модули восприятия в соответствии с требованиями архитектуры и наличии/отсутствии определенных датчиков у каждого робота.

    Droidlet дополнен интерактивной панелью мониторинга, которую исследователи могут использовать в качестве рабочего интерфейса при создании агентов. Он включает инструменты отладки и визуализации, а также интерфейс для исправления ошибок агента в реальном времени. Система мониторинга также позволяет исследователям добавлять новые виджеты и инструменты.

    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии