Индийский студент Сатиндер Сингх создал автономную систему навигации для слабовидящих людей, основанную на глубоком обучении и микроконтроллере Arduino. Нейросеть анализирует окружающую среду, распознаёт лица и дорожные знаки и подсказывает в какую сторону идти.
Как работает
DeepWay состоит из ноутбука, камеры, очков и наушников. Ноутбук обрабатывает изображения с камеры, закреплённой на груди пользователя. Затем свёрточная нейронная сеть (CNN) определяет куда нужно повернуть и отправляет команду контроллеру Arduino, который управляет сервоприводами, закреплёнными на очках. Дужка очков надавливает на сторону, в которую нужно переместиться. В наушники при этом подаётся информация о людях вокруг и дорожных знаках.
Разработчик обучил нейросеть на 10 000 фотографий дорог и бездорожья вокруг колледжа при разном освещении. Для распознавания лиц и знаков использовался каскад Хаара в OpenCV.
Отличия DeepWay и Microsoft Seeing AI
Seeing AI — приложение для смартфонов, которое помогает слабовидящим людям распознавать лица, объекты окружения, тексты с помощью камеры. Главное отличие DeepWay — навигация. Сингх включил в систему отслеживание местоположения. Он использовал данные LiDAR и GPS, чтобы получить точную информацию.
Проект на GitHub.
