fbpx

Индийский студент создал навигатор для слабовидящих на микроконтроллерах Arduino

deepway

Индийский студент Сатиндер Сингх создал автономную систему навигации для слабовидящих людей, основанную на глубоком обучении и микроконтроллере Arduino. Нейросеть анализирует окружающую среду, распознаёт лица и дорожные знаки и подсказывает в какую сторону идти.

Как работает

DeepWay состоит из ноутбука, камеры, очков и наушников. Ноутбук обрабатывает изображения с камеры, закреплённой на груди пользователя. Затем свёрточная нейронная сеть (CNN) определяет куда нужно повернуть и отправляет команду контроллеру Arduino, который управляет сервоприводами, закреплёнными на очках. Дужка очков надавливает на сторону, в которую нужно переместиться. В наушники при этом подаётся информация о людях вокруг и дорожных знаках.

Разработчик обучил нейросеть на 10 000 фотографий дорог и бездорожья вокруг колледжа при разном освещении. Для распознавания лиц и знаков использовался каскад Хаара в OpenCV.

deepway

Отличия DeepWay и Microsoft Seeing AI

Seeing AI — приложение для смартфонов, которое помогает слабовидящим людям распознавать лица, объекты окружения, тексты с помощью камеры. Главное отличие DeepWay — навигация. Сингх включил в систему отслеживание местоположения. Он использовал данные LiDAR и GPS, чтобы получить точную информацию.

Проект на GitHub.