Aristo — это языковая модель, которая успешно прошла школьный тест по научным дисциплинам за 8-й класс. Модель выдала верные ответы на 90% вопросов в тесте для 8-го класса и на 80% вопросов в тесте за 12-й класс. Aristo основана на state-of-the-art модели в обработке естественного языка, BERT. Разработку вели исследователи из Allen Institute for Artificial Intelligence. Попробовать пройти тест можно по ссылке.
Четыре года назад более 700 разработчиков соревновались в попытке обучить нейросеть отвечать на вопросы сложности 8-го класса. Призовой фонд составлял $80,000. Несмотря на это, все участвующие команды провалились. Наиболее точная система была способна ответить только на 60% вопросов теста. Нейросети не могли обучиться языковым навыкам и логике, которая требуется для прохождения теста.
Aristo была разработана исключительно для решения задач с несколькими правильными ответами. Модель обучалась на вопросах тестов, которые писали школьники в Нью Йорке. Перед началом обучения из тестов были убраны все вопросы, которые содержали картинки или диаграммы, чтобы облегчить задачу.
Некоторые вопросы из тестов требовали навыки information retrieval. Например, следующий вопрос:
A group of tissues that work together to perform a specific function is called:
- an organ;
- an organism;
- a system;
- a cell
Другие вопросы требовали навыки логического мышления:
Which change would most likely cause a decrease in the number of squirrels living in an area?
- a decrease in the number of predators;
- a decrease in competition between the squirrels;
- an increase in available food;
- an increase in the number of forest fires
Работа над разработкой модели велась с 2013 года. Стандартизированные вопросы по научным дисциплинам выступили как базовая проверка нейросети на наличие достаточных языковых навыков и логического мышления.
