Ученые MIT разработали нейросеть, которая анализирует видеозаписи пациентов с двигательными или неврологическими расстройствами и оценивает их клиническое состояние в режиме реального времени. Инструмент работает на большинстве мобильных устройств и позволяет сократить время пациентов и врачей, затрачиваемое на регулярные обследования.
Визит к врачу – трудо- и времязатратная процедура для родителей детей с двигательными нарушениями, такими как детский церебральный паралич, поскольку врач должен регулярно лично осматривать ребенка в течение порядка одного часа. Сочетая методы компьютерного зрения и машинного обучения, алгоритм анализирует видеозаписи пациентов и дает клиническую оценку двигательной функции.
Подробнее о методе
Исследователи протестировали метод на видеозаписях 1000 детей с церебральным параличом. Оценка метода более чем с 70-процентной точностью соответствует тому, что определил врач во время личного визита. Ученые использовали общедоступный датасет поз скелета, который был подготовлен лабораторией нервно-мышечной биомеханики Стэнфордского университета. Этот датасет включал видеозаписи более чем 1000 детей с церебральным параличом. На каждом видео был показан ребенок, выполняющий серию упражнений в клинических условиях, и каждое видео было помечено оценкой GMFCS, которую врач присвоил ребенку после очной оценки.
Затем исследователи разработали способы автоматической расшифровки паттернов в данных о церебральном параличе, которые характерны для каждого клинического уровня двигательной функции. Они начали с пространственно-временной графовой сверточной нейронной сети. Прежде чем ученые применили нейронную сеть к церебральному параличу, они использовали модель, которая была предварительно обучена на более общем датасете, который содержал видеозаписи здоровых взрослых, выполняющих различные повседневные действия, такие как ходьба, бег, сидение и рукопожатие. Они взяли основу этой предварительно обученной модели и добавили к ней новый уровень классификации, специфичный для клинических показателей, связанных с церебральным параличом.
Ученые настроили сеть распознавать отличительные закономерности в движениях детей с церебральным параличом и точно классифицировать их в рамках основных уровней клинической оценки. Исследователи обнаружили, что предварительно обученная сеть научилась правильно классифицировать уровни подвижности детей более точно, чем если бы она была обучена только на данных о детском церебральном параличе.
Сейчас исследователи разрабатывают приложение, которое родители и пациенты могли бы использовать для автоматического анализа видеозаписей пациентов, снятых в комфортных условиях их собственной среды проживания. Затем результаты могут быть отправлены врачу для дальнейшей оценки. Команда также планирует адаптировать этот метод для оценки других неврологических расстройств.
