В GoogleAI разработан метод точного отслеживания положения зрачков с использованием смартфонов на основе машинного обучения. Нейросеть может открыть новые перспективы в диагностике расстройств аутистического спектра, дислексии, сотрясений мозга и инсультов.
Помимо медицинской практики, изучение движения зрачков может быть полезно в таких приложениях, как исследование пользовательского опыта, в играх и системах вождения. Однако прогресс в этой области ранее был ограничен необходимостью использования специализированных аппаратных трекеров, которые являются достаточно дорогими. В статье, опубликованной в журнале Nature Communications, представлена многослойная сверточная нейронная сеть (ConvNet), обученная на датасете MIT GazeCapture (рис. 1). Области глаз, извлеченные из изображения фронтальной камеры, служат входными данными для сверточной нейронную сеть. Полносвязные слои объединяют выходные данные с распознанными координатами границ плаза для определения координат зрачка x и y на экране с помощью выходного слоя с множественными выходными регрессиями. Точность модели была улучшена за счет точной настройки и персонализации для каждого участника.
Для оценки модели участникам исследования дали задание смотреть на точки, которые появлялись в случайных местах на пустом экране. Погрешность модели была вычислена как расстояние между местоположением точек и предсказанием модели. Результаты показывают, что в то время, как деперсонализированная модель имеет высокую погрешность, персонализация привела к более чем четырехкратному снижению погрешности. При расстоянии обзора 25-40 см это соответствует точности определения угла обзора 0,6-1°, что является значительным улучшением по сравнению с 2,4-3°, о которых сообщалось в предыдущих работах.
Дополнительные эксперименты показывают, что точность модели при работе со смартфона сопоставима с современными носимыми трекерами глаз как при размещении телефона на подставке для устройства, так и при свободном удержании телефона в руке в почти фронтальном положении головы. В отличие от специализированного оборудования для отслеживания глаз с несколькими инфракрасными камерами рядом с каждым глазом, модель Google требует только одной фронтальной RGB-камеры, более чем в 100 раз дешевле и легко масштабируема.
