Цифровая творческая студия Hello Monday в сотрудничестве с Американским обществом глухих детей разработали сервис для изучение американского жестового языка (ASL) Fingerspelling.xyz. Приложение использует машинное обучение в сочетании с технологией распознавания рук. Разрабочики надеются, что это поможет овладеть жестовым языком не только детям, но и их родителям.
Актуальность
По данным Американского общества глухих детей, 90% слабослышащих или глухих детей рождаются от слышащих родителей. Многие из этих семей не знакомы с жестовым языком. Этот аспект может оставить детей позади в языковом развитии и других когнитивных навыках. Доступ к ASL в раннем возрасте даёт возможность начать адаптироваться в обществе раньше, чем ребёнок получит навыки языка в школе.
Возможности сервиса
Игра представляет собой бесплатное браузерное приложение, доступное любому, у кого есть компьютер и веб-камера. Технология отслеживает движение рук пользователя, основываясь на точках суставов рук и пальцев, а искусственный интеллект создаёт ее трехмерную модель. Все это происходит в формате соревновательный игры.
Сначала нужно сообщить системе, левша вы или правша.
Далее вам предложат выбрать уровень, чтобы начать практиковаться.
Игра даст 10 слов для усвоения. На трёх уровнях игрокам предлагается как можно быстрее делать правильные движения руками, набирая очки за точность.
По мере того, как вы успешно показываете каждую букву, игра показывает вашу точность от 0 до 100 процентов. После того, как вы «произнесете» все 10 слов, переходите на следующий уровень или попробуйте побить свой результат. Создатели отмечают, что программное обеспечение будет обрабатывать данные с веб-камеры локально и не будет их хранить у себя на серверах.
Веб-приложение на основе нейронных сетей помогает в изучении жестового языка для родителей и их детей. Возможность как можно раньше начать изучать язык поможет избежать задержки в развитии, повысить концентрацию внимания, словарный запас. Разработчики надеются, что новый инструмент будет стимулировать слышащих родителей и семьи начать как можно скорее обучать себя и своих детей основам жестового языка, давая им возможность общаться, прежде чем получат знания в школе.
