Специально для глухих и слабослышащих людей Google разработала приложение, которое распознает речь и создает субтитры в онлайн режиме. Люди, потерявшие слух, смогут участвовать в беседах и посещать общественные мероприятия без предварительной подготовки и необходимости заказывать услуги переводчика на язык жестов. По оценкам Всемирной организации здравоохранения, в мире насчитывается 466 миллионов людей с нарушениями слуха.
Приложение Live Transcribe
Live Transcribe предназначено для транскрибации окружающей речи и создания стенограммы, которую может читать человек с нарушениями слуха. Оно автоматически переводит речь говорящего в текст на экране смартфона. Приложение работает на Google Cloud и имеет встроенный распознаватель речи на основе нейронной сети. Модель, аналогичная ранее опубликованной VGGish, обнаруживает речь и управляет сетевыми подключениями к облачному механизму автоматического распознавания.
Приложение поддерживает транскрипцию 70 языков, которые используют 80% населения планеты. Пользователь может выбрать два языка одновременно. Один из них будет основным, другой — дополнительным. Между ними можно переключаться в реальном времени. В компании работают над тем, чтобы научить приложение самостоятельно определять язык говорящего, для того чтобы человеку не нужно было переключать их.
Live Transcribe определяет уровень шума окружающей обстановки. Индикатор дает мгновенную обратную связь, чтобы пользователь мог переместить телефон ближе к говорящему. Если шум все равно превышает допустимый порог и мешает алгоритму перевести речь в текст, на экране появится клавиатура, чтобы можно было набрать сообщение вручную. Эту же клавиатуру может использовать слабослышащий человек, чтобы набирать ответы и участвовать в беседе.
Аудиозаписи и текст не сохраняются на серверах — Google позаботилась и о конфиденциальности данных пользователей. Программа использует Cloud Speech API, поэтому для работы приложения обязательно подключение к интернету.
Приложение Live Transcribe уже доступно в Play Store для тестирования и будет предустановлено на всех устройствах Pixel 3 со следующим обновлением.
