fbpx
  • Нейросеть прошла школьный тест по научным дисциплинам

    Aristo — это языковая модель, которая успешно прошла школьный тест по научным дисциплинам за 8-й класс. Модель выдала верные ответы на 90% вопросов в тесте для 8-го класса и на 80% вопросов в тесте за 12-й класс. Aristo основана на state-of-the-art модели в обработке естественного языка, BERT. Разработку вели исследователи из Allen Institute for Artificial Intelligence. Попробовать пройти тест можно по ссылке.

    Четыре года назад более 700 разработчиков соревновались в попытке обучить нейросеть отвечать на вопросы сложности 8-го класса. Призовой фонд составлял $80,000. Несмотря на это, все участвующие команды провалились. Наиболее точная система была способна ответить только на 60% вопросов теста. Нейросети не могли обучиться языковым навыкам и логике, которая требуется для прохождения теста.

    Aristo была разработана исключительно для решения задач с несколькими правильными ответами. Модель обучалась на вопросах тестов, которые писали школьники в Нью Йорке. Перед началом обучения из тестов были убраны все вопросы, которые содержали картинки или диаграммы, чтобы облегчить задачу. 

    Некоторые вопросы из тестов требовали навыки information retrieval. Например, следующий вопрос:

    A group of tissues that work together to perform a specific function is called:

    1. an organ;
    2. an organism;
    3. a system;
    4. a cell

    Другие вопросы требовали навыки логического мышления:

    Which change would most likely cause a decrease in the number of squirrels living in an area?

    1. a decrease in the number of predators;
    2. a decrease in competition between the squirrels;
    3. an increase in available food;
    4. an increase in the number of forest fires

    Работа над разработкой модели велась с 2013 года. Стандартизированные вопросы по научным дисциплинам выступили как базовая проверка нейросети на наличие достаточных языковых навыков и логического мышления.