В июне 2019 года состоится конкурс Animal-AI Olympics, на котором исследователи сравнят когнитивные способности современных алгоритмов с интеллектом животных. Основная задача — понять, как далеко ИИ продвинулся в работе с обобщениями на основе предыдущего опыта.
Проект разработан Кембриджским университетом и исследовательской организацией Good AI, которая занимается созданием методов оценки ИИ в рамках прогресса в направлении того, что исследователи называют общим искусственным интеллектом (Artificial General Intelligence).
Алгоритмы лучше людей справляются с игрой в го и сёгу, шахматы и видеоигры Dota 2 и StarCraft II. ИИ хорош в выполнении конкретных задач. Теперь исследователи хотят, чтобы алгоритмы продемонстрировали тип гибкого интеллекта — умение рассуждать и планировать действия.
The Animal-AI Olympics
Проект будет включать задачи специально для тестирования transfer learning и умения обобщать. В виртуальных средах, созданных с помощью Unity ML-Agents Toolkit, агенты будут выполнять задачи по отношению к объектам на основе полученного опыта. В интервью IEEE Spectrum организаторы говорят, что будет около 50 заданий.
Разработчики не раскрывают конкретных задач, но отмечают, что тесты будут основаны на тех, которые используют ученые для оценки когнитивных способностей животных, чтобы выявить, действительно ли животное понимает, как достать пищу из аппарата, или просто повторяет заученную последовательность шагов.
Пример теста
В классическом эксперименте по добыче пищи перед животным ставится две чашки — под одну чашку кладется еда и задача животного — достать её. Сначала человек кладет еду под одну и ту же чашку каждый раз (можно назвать её чашкой А) — это эквивалентно фазе тренировки на этапе обучения ИИ. Затем во время тестов человек кладет еду под чашку А, после чего вынимает и очень заметно перекладывает под чашку В. Часть животных (например, шимпанзе) пойдут сразу к чашке В, но многие по-прежнему перевернут чашку А, потому что выучили задачу через запоминание.
Некоторые примеры сред и задач есть на видео, опубликованном разработчиками:
На сайте проекта отмечено, что для идеального результата потребуется прорыв в искусственном интеллекте, выходящий далеко за рамки текущих возможностей. Однако даже небольшие успехи покажут, что ИИ способен не только находить полезные шаблоны в данных, но и экстраполировать их на понимание того, как устроен мир.
Подробную информацию о конкурсе организаторы опубликуют в апреле. Старт конкурса назначен на июнь, тогда же будут опубликованы учебные среды с большим количеством объектов для обучения агентов. Результаты конкурса будут доступны в декабре 2019.
