Канадский стартап Stradigi AI представил игру на базе сверточных нейронных сетей, которая помогает учить американский вариант языка жестов. Его используют люди с нарушениями слуха в Америке и Канаде. Команде удалось создать самую точную модель для определения жестов, её результат — 99,03%. Лучший результат предыдущих разработок — 98,50% у алгоритма Google Inception V4.
Как работает The ASL Alphabet Game
Участники должны имитировать 26 букв алфавита американского языка жестов. За каждое правильно показанное движение им начисляются баллы. Игра работает, используя алгоритмы компьютерного зрения.
Оценка жестов производится сверточными нейросетями в три этапа:
- Первая нейросеть анализирует положение рук перед камерой.
- Затем полученные изображения обрезаются и передаются второй CNN для анализа и классификации жестов.
- На заключительном этапе нейросеть создает и анализирует тепловые карты изображений, чтобы классифицировать жест более точно.
Обучающая выборка для CNN состояла из 100 000 изображений. Создатели игры отмечают, что видео, из которых были выбраны фото для обучающего набора, были отобраны так, чтобы избежать предвзятости. Разработанная CNN будет одинаково хорошо распознавать жесты людей из разных стран, людей с длинными или короткими пальцами, руки с крупными украшениями и другими отличиями, которые могли бы повлиять на точность определения.
Таким образом стартап поддерживает использование технологий машинного обучения для создания социально значимых разработок. В этом направлении работают и другие исследователи. Недавно американские ученые из Сaltech разработали технологию CARA на базе очков дополненной реальности Microsoft HoloLens, которая поможет слабовидящим ориентироваться в пространстве.
