Распознавание речи

Китайские исследователи из Университета Цинхуа представили Lip-Interact — инструмент, который позволяет смартфону распознавать беззвучные команды по движениям губ. В будущем разработка позволит давать команды помощнику беззвучно, если этого требует ситуация, а также поможет глухонемым людям взаимодействовать с голосовыми помощниками.

Как работает Lip-Interact

Технология использует переднюю камеру смартфона чтобы идентифицировать лицо и распознать 20 точек, которые описывают движения губ пользователя и определяют степень открытия рта для определения начала и завершения команды. Инструмент распознаёт полученные команды с помощью свёрточной end-to-end модели. После того как произошло распознавание команды по движениям губ, модель проводит проверку аудиосигнала с микрофона, чтобы отличить Lip-Interact от обычного взаимодействия. Например, если человек разговаривает с кем-то, губы тоже двигаются, но приложение не станет распознавать эти движения как команду. Чтобы обучить нейронную сеть, исследователи использовали 48 335 образцов видео с движениями губ.

Результаты

На данный момент технология поддерживает распознавание 44 команд для доступа к функциям системного уровня (запуск приложений, изменение настроек, обработка всплывающих окон), а также операции в двух приложениях: WeChat и Notepad. Средняя точность распознавания составляет 95,5%. В дальнейшем разработчики надеются улучшить точность и полностью интегрировать Lip-Interact в смартфон — сейчас для работы технологии используется отдельная камера и компьютер для проведения вычислений.

DeepMind создали алгоритм, который читает по губам с 59% точностью. Максимальный результат предыдущих разработок в этой области — 33%.

Для обучения модели исследователи использовали 140 000 часов видео с YouTube. Специальная система обработала видео, и разделила материал на короткие клипы так, чтобы были видны отчётливые движения рта при произнесении каждой фонемы. Разработчики получили 4000 часов отснятого материала, с 127 000  слов. Полученная база видеозаписей в семь раз больше, чем предыдущие наборы для подобного обучения.

Алгоритм обрабатывает видео несколько раз: нейросеть вырезает клипы с фонемами из неразмеченных видео; следующая программа предоставляет вероятность возможных фонем для каждого видеокадра; затем алгоритм берёт последовательности фонем и формирует последовательности слов. Кроме того, программа понимает, что фонема выглядит по-разному в зависимости от того, какие фонемы идут до и после. После обучения исследователи протестировали систему на 37-минутном видео. ИИ ошибочно определил 41% слов. Предыдущий алгоритм, который фокусируется на отдельных буквах, а не на фонемах, имел коэффициент ошибок 77%. Контрольная группа экспертов ошиблась в 86% случаев.

Разработка может помочь людям с нарушениями слуха и речи распознавать речь собеседника. Также технологию можно использовать  для анализа и распознавания речи на видео с камер наблюдения, и на архивных видео, снятых без звука.

Источник: Science