Нейронная сеть позволяет определить частоту сердечных сокращений и уровень насыщения крови кислородом без использования медицинского оборудования или фитнес-трекера. Технология упрощает процесс медицинской диагностики и делает ее полностью бесконтактной.
Современные фитнес-трекеры позволяют измерять большое количество физиологических параметров с помощью фотоплетизмографии. Данный метод работает следующим образом. Пучок света, проходящий через запястье, частично отражается от кровеносных сосудов под кожей. По количеству отраженного света в единицу времени можно определить частоту сердечных сокращений, частоту дыхания, уровень насыщения крови кислородом и другие параметры. Фотоплетизмография является недорогой альтернативой традиционному подходу плетизмографии, требующему сложное оборудование и квалифицированных медицинских работников. Недавние исследования показали, что плетизмографический сигнал достаточно силен, чтобы его можно было уловить, наблюдая изменения цвета кожи на серии изображений, снятых обычной камерой, в том числе камерой смартфона. Таким образом, появляется возможность полностью бесконтактной медицинской диагностики.
Нейронная сеть извлекает из видеозаписи лица изменение во времени цвета кожи на отдельных пикселях. Каждый пиксель является независимым датчиком, регистрирующим три зависимости от времени, соответствующие R-, G- и B-компонентам сигнала. Изображение неизбежно обладает шумами, связанными с видеокамерой, колебаниями освещения и движением лица пациента относительно камеры. Для подавления этих шумов используется пространственное усреднение по нескольким соседним пикселям (см. рис. 1).
Затем сверточная нейронная сеть (например, ResNet) на основе 3N сигналов, где N – количество пикселей, формирует единую временную зависимость, эквивалентную коэффициенту отражения света, регистрируемую фитнес-трекером или медицинским датчиком. Для этого, в частности, нейронная сеть расщепляет сигнал с каждого пикселя на две компоненты: постоянную во времени и переменную. Для вычисления физиологических параметров интерес представляет переменная часть сигнала, т. к. постоянная часть связана с освещенностью лица. Из переменного сигнала стандартными методами извлекается ритм сердцебиения, частота дыхания и уровень SpO2 (насыщение крови кислородом). Схема алгоритма представлена на рис. 2.
Таким образом, методы компьютерного зрения предоставляют возможность разрабатывать новые, полностью бесконтактные методы диагностики, выводя на новый уровень возможности дистанционных медицинских консультаций.
Как-то слишком невероятно