Ученые выявили схожесть работы моделей обработки естественного языка с деятельностью мозга во время восприятия языковой информации. В частности, предсказание следующего слова на основе уже введенных слов, широкое используемое в поисковых подсказках, оказалось ключевой частью способности человеческого мозга обрабатывать язык.
Восприятие языка мозгом — одна из наиболее исследуемых тем нейробиологии. Новое исследование демонстрирует, как алгоритмы искусственного интеллекта, изначально не предназначенные для имитации работы мозга, могут помочь исследовать эту область нейробиологии.
Ученые сравнили 43 языковые модели машинного обучения, в том числе GPT-2 OpenAI, оптимизированную для прогнозирования следующих слов в тексте, с данными сканирования мозга на предмет того, как биологические нейроны реагируют, когда кто-то читает текст или слышит речь.
Для этого на вход каждой модели подавали слова и измеряли реакцию их узлов. Затем эти реакции сравнивались с активностью нейронов, измеряемой с помощью фМРТ или электрокортикографии во время выполнения людьми различных заданий, связанных с обработкой языка.
Активность узлов в моделях искусственного интеллекта, которые лучше всего предсказывают следующее слово, оказались похожими на паттерны поведения нейронов в человеческом мозге.
