Голосовой ассистент и очки HoloLens помогут слабовидящим перемещаться

Американские ученые разработали технологию CARA на базе очков дополненной реальности Microsoft HoloLens, которая поможет слабовидящим людям ориентироваться в пространстве. Каждый предмет в окружении получит свой “голос”, благодаря чему человек будет понимать, что находится вокруг него. Технология позволит обходить препятствия, осуществлять навигацию в зданиях и на улице, формировать пространственную память.

Как работает устройство

С помощью очков HoloLens, устройство сканирует все поверхности и предметы, используя видео- и инфракрасные датчикию. Программа обнаруживает поверхности объектов с точностью до сантиметра и создает трехмерную карту окружающего пространства. Затем Cognitive Augmented Reality Assistant (CARA) конвертирует информацию, полученную из датчиков HoloLens, в аудиосообщения, придавая каждому объекту «голос», который человек слышит с помощью гарнитуры.

Чем ближе человек находится к объекту, тем выше тон голосового помощника. Пользователь взаимодействует с устройством в трех режимах, используя голосовые команды и кликер:

• Режим«прожектора». Ассистент называет объект, на который направлен взгляд пользователя.
• Режим сканирования. Ассистент называет слева направо все объекты, которые видит камера HoloLens.
• Целевой режим. Подается информация только об одном объекте, если человеку нужно найти его или пройти рядом.

В тестировании технологии участвовали 7 человек с нарушениями зрения. Они использовали HoloLens, чтобы добраться в офис команды на втором этаже. Всем участникам удалось добраться до офиса с первого раза.

По данным ВОЗ, 1,3 миллиарда человек во всем мире живут с разными формами нарушения зрения: 217 миллионов людей попадают в категорию слабовидящих, а 36 миллионов — полностью слепых. Технология Caltech демонстрирует многообещающие результаты и может применяться в различных разработках для помощи людям с нарушениями зрения. В дальнейшем ученые собираются тестировать, как HoloLens и CARA работают в общественных местах с большим скоплением людей — в торговых центрах, магазинах, парках развлечений.