В МФТИ и Neurobotics обучили нейросеть, которая восстанавливает изображение по данным ЭЭГ. Одним из применений нейросети является использование в девайсах для реабилитации после инсульта.
Чтобы разрабатывать устройства, которые контролируются мозгом, и методы лечения когнитивных расстройств, нейробиологам необходимо понимать, как мозг кодирует информацию. Ключевым аспектом этого является изучения мозговой активности во время потребления визуальной информации. Например, во время просмотра видеозаписи. Существующие решения для извлечения наблюдаемых изображений из сигналов мозга или используют функциональную МРТ, или анализируют сигналы напрямую из нейронов. Оба метода имеют ограничения в применении к клинической практике и обыденной жизни.
Процесс обучения нейросети
Предложенный интерфейс взаимодействия мозга и компьютера задействует нейросети и данные ЭЭГ для реконструирования изображений. ЭЭГ — это процедура записи мозговых волн с помощью электродов, которые фиксируют на коже черепа.
В первой части эксперимента нейробиологи попросили здоровых добровольцев посмотреть десятисекундные видеоролики на YouTube в течение 20 минут. Исследователи предварительно отобрали категории видео: абстрактные формы, водопады, человеческие лица, движущиеся механизмы и мотоспорт. Последняя категория включала в себя видео гонок на аэросанях, водных скутерах, мотоциклах и машинах.
Анализ данных ЭЭГ показал, что форма мозговых волн при просмотре видео разных категорий различается. Это позволило команде анализировать реакцию мозга на видео в реальном времени.
На втором этапе эксперимента исследователи отобрали три случайные категории видео из изначальных 5. Затем обучили сверточный image-to-image автокодировщик. Вектор признаков из наблюдений ЭЭГ сопоставлялся с векторами изображений в автокодировщике. Модель для сопоставления ЭЭГ данных и изображений обучалась отдельно. В основе этой модели лежали 3 LSTM. Кодировщик в автоэнкодере базировался на предобученной VGG-11 модели. Декодировщик имел кастомную архитектуру.
Тестирование системы
Чтобы протестировать возможность модели визуализировать мозговую активность, добровольцам показали новые видео тех же категорий. В 90% случаев сгенерированные нейросетью изображения верно классифицировались.
