BrainNet — интерфейс «мозг-мозг» для взаимодействия людей

Большинство исследований, связанных с коммуникационными интерфейсами мозга, сосредоточены на интерфейсах «мозг-компьютер». Меньше результатов получено в области соединения двух или нескольких мозгов. Недавно ученые представили новый метод, который позволяет трем людям сотрудничать для решения задачи, используя прямую связь «мозг-мозг».

Взаимодействие «мозг-мозг»

Несколько лет назад было проведено исследование под названием «20 вопросов». В эксперименте был представлен примитивный интерфейс «мозг-мозг» с простой схемой взаимодействия, включающей только двух субъектов-участников, которые отвечали на вопросы. Взаимодействие «мозг-мозг» анализировали с помощью ответов, которые выводились на экране.

В сентябре этого года исследователи из Университета Вашингтона и Университета Карнеги-Меллона представили первый многопользовательский неинвазивный прямой интерфейс «мозг-мозг» для совместного решения задач. В работе анализируются недостатки предыдущих интерфейсов, и предлагается новый, который позволит создать прямую связь между мозгами.

Новый подход

Метод основан на ЭЭГ для регистрации сигналов мозга и транскраниальной магнитной стимуляции (ТМС), которая доставляет информацию в мозг неинвазивным способом. Архитектура предлагаемых интерфейсов «мозг-мозг» использует два типа модулей: интерфейс «мозг-компьютер», основанный на ЭЭГ, для передачи информации о совместной работе, и интерфейс «компьютер-мозг»на основе ТМС. Схема интерфейса приведена ниже.

BrainNet позволяет трем людям сотрудничать для решения задачи, используя прямую связь «мозг-мозг». В экспериментах новый интерфейс «мозг-мозг» используется для совместной деятельности: игры наподобие тетриса.

Поскольку предложенный в работе способ является первым неинвазивным межличностным интерфейсом «мозг-мозг», исследователи уделили особое внимание изучению возможности приоритетного ранжирования информации как важной части общения в социальных сетях.

Первоначальная реализация BrainNet позволяет общаться двум субъектам — отправителю и получателю. Интерфейс не требует каких-либо физических действий со стороны субъектов.

Примеры экранов, которые наблюдают получатель и отправитель в ходе двух раундов игры.

Эксперимент и результаты

Эксперимент состоит из двух раундов. В первом раунде три участника (получатель и два отправителя) пытаются решить совместную задачу. Получатель отвечает за принятие решения о том, следует ли развернуть блок в тетрисе до того, как он заполнит пустое пространство в нижней части экрана. У него нет никакой информации о нижней части экрана, поэтому он не может принять логическое решение в ходе игры. Два других участника — отправители — могут видеть весь экран, и их задача состоит в том, чтобы сделать правильный выбор (развернуть блок или нет), основываясь на размерах блока и пространства внизу, и сообщить получателю решение через интерфейс «мозг-мозг».

Во втором раунде отправителям предоставляется возможность узнать решение получателя (см. рисунок выше) и предложить новое (возможно, скорректированное) решение.

Точность, достигнутая каждой из пяти групп субъектов. Точность определяется как отношение правильных решений о развороте блока ко всем.

Для оценки эффективности исследователи использовали как простые, так и глубокие методы. Они измерили частоту выбора правильного решения о развороте блока и получили среднюю точность 0,8125 (что намного превышает величину 0,5 при случайном выборе). Также были вычислены двоичные метрики классификации, такие как площадь под кривой эксплуатационной характеристики получателя.

Кривые эксплуатационной характеристики получателя для пяти групп субъектов

Чтобы количественно оценить степень глубины взаимодействия и количество передаваемой информации между субъектами, исследователи используют взаимную информационную меру (ИМ). Отмечается значительная разница в количестве передаваемых данных по сравнению со случайным характером принятия решений. Кроме того, как и ожидалось из-за особенностей реализации эксперимента, между хорошим отправителем и получателем ИМ больше (что говорит о большем количестве передаваемой информации), чем между плохим отправителем и получателем.

Вычисление ИМ: r — решение, принятое получателем (0 или 1, соответствуют «не разворачивать» и «разворачивать»), s — решение, принятое одним из отправителей, pR(r) — вероятность того, что получатель принял решение r, pS(s) — вероятность того, что получатель принял решение s, pR,S(r,s) — совместная вероятность того, что получатель принял решение r, а отправитель — решение s.

Различие в количестве переданной информации согласно ИМ у хорошего и плохого отправителей

Заключение

Работа внесла значительный вклад в исследование взаимодействия «мозг-мозг» и представляет собой метод нового поколения, который улучшает эффективность данного взаимодействия. Предлагаемый метод масштабирует интерфейс для использования несколькими людьми, совместно работающими над решением задачи.

Это первый интерфейс «мозг-мозг», который объединяет сигналы ЭЭГ и ТМС у одного и того же человека, позволяя осуществить дифференциацию достоверности информации. Таким образом, проведенный эксперимент является важным шагом на пути к реализации цельной коммуникации «мозг-мозг» и совместному решению задач с помощью данного интерфейса.

Интерфейс «мозг-мозг»