Нейронная сеть совместно с системой компьютерного зрения в режиме реального времени определяет, заснул водитель автомобиля или нет. Использование данной технологии приведет к значительному увеличению безопасности вождения. Исходный код находится в открытом доступе.
Для обучения нейронной сети ученые использовали два датасета, содержащих фотографии лиц с открытыми и закрытыми глазами. Эти изображения обрезались так, чтобы на них остались только глаза людей (рис. 1). Впоследствии скрипт, осуществляющий данную операцию, использовался в режиме реального времени для преобразования изображений с веб-камеры. Итоговый набор данных содержал более 30 000 фотографий.
В рамках решаемой задачи зарегистрировать состояние сна важнее, чем состояние бодрствования. Поэтому наиболее подходящей метрикой является полнота (recall-метрика), так как чем выше этот показатель, тем меньшее количество спящих водителей будут ошибочно распознаваться моделью как бодрствующие. Таким образом, нейронная сеть будет реже выдавать ложноотрицательные результаты. Однако класс бодрствующих водителей значительно превосходит класс спящих водителей, и по этой причине была выбрана F-мера, позволяющая учесть это обстоятельство. В противном случае модель всегда бы предсказывала состояние сна и была бы нестабильной.
Архитектура нейронной сети приведена на рис. 2. Она состоит из трех частей: сверточных слоев, операции понижения размерности и плотных слоев. Поскольку в рамках модели решается задача бинарной классификации, на выходном слое используется сигмоидная функция активации. Выходными данными сети является значение 0 или 1, соответствующее открытым или закрытым глазам на изображении, соответственно. После обучения модель используется для потокового анализа изображений с веб-камеры, записывающей лицо водителя автомобиля. Если водитель заснул, интерфейс приложения выводит предупреждение и активирует звуковой сигнал. Критерием состояния сна, позволяющим отличить его от однократного моргания, является результат распознавания закрытых глаз на 6 кадрах подряд, что соответствует времени около одной секунды. Ключевым преимуществом сети является крайне быстрая скорость работы: для определения состояния водителя по одному кадру требуется менее одной миллисекунды. Исходный код доступен для всех желающих.
Сон во время вождения ежегодно приводит к 91 000 ДТП, из которых около 800 – с летальным исходом. Использование данной нейронной сети будет полезно автомобильным и страховым компаниям, заинтересованным в повышении безопасности вождения.
