Нейросеть прошла школьный тест по научным дисциплинам

Aristo — это языковая модель, которая успешно прошла школьный тест по научным дисциплинам за 8-й класс. Модель выдала верные ответы на 90% вопросов в тесте для 8-го класса и на 80% вопросов в тесте за 12-й класс. Aristo основана на state-of-the-art модели в обработке естественного языка, BERT. Разработку вели исследователи из Allen Institute for Artificial Intelligence. Попробовать пройти тест можно по ссылке.

Четыре года назад более 700 разработчиков соревновались в попытке обучить нейросеть отвечать на вопросы сложности 8-го класса. Призовой фонд составлял $80,000. Несмотря на это, все участвующие команды провалились. Наиболее точная система была способна ответить только на 60% вопросов теста. Нейросети не могли обучиться языковым навыкам и логике, которая требуется для прохождения теста.

Aristo была разработана исключительно для решения задач с несколькими правильными ответами. Модель обучалась на вопросах тестов, которые писали школьники в Нью Йорке. Перед началом обучения из тестов были убраны все вопросы, которые содержали картинки или диаграммы, чтобы облегчить задачу. 

Некоторые вопросы из тестов требовали навыки information retrieval. Например, следующий вопрос:

A group of tissues that work together to perform a specific function is called:

  1. an organ;
  2. an organism;
  3. a system;
  4. a cell

Другие вопросы требовали навыки логического мышления:

Which change would most likely cause a decrease in the number of squirrels living in an area?

  1. a decrease in the number of predators;
  2. a decrease in competition between the squirrels;
  3. an increase in available food;
  4. an increase in the number of forest fires

Работа над разработкой модели велась с 2013 года. Стандартизированные вопросы по научным дисциплинам выступили как базовая проверка нейросети на наличие достаточных языковых навыков и логического мышления.

Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt