Алгоритм, разработанный исследователями Шанхайского университета, распознает движения губ пользователя с точностью 90,2% и атаки спуферов с точностью 93,1% и может использоваться для аутентификации вместо FaceID или отпечатка пальца. Новый подход к аутентификации описан в исследовании на сайте IEEE.
На основе алгоритма создана программа LipPass, анализирующая визуальные и акустические паттерны, которые возникают, когда человек говорит: выпячивание губ, растяжение и сужение языка, изменения угла челюсти. В результате создается уникальный отпечаток на основе эффекта Допплера для каждого пользователя. LipPass не требуются специальные технологии, она использует уже существующие функции мобильного телефона.
Алгоритм глубокого обучения извлекает отличительные черты эффекта Допплера для каждого пользователя. Затем применяется подход на основе двоичного дерева, чтобы отличить профиль нового пользователя от ранее зарегистрированных.
Тестирование
В серии экспериментов разработчики протестировали LipPass на четырех разных смартфонах: Nexus 6P, Galaxy S6, Galaxy Note 5 и Huawei Honor 8.
48 волонтеров использовали платформу в четырех различных средах, начиная от освещенной тихой лаборатории и заканчивая темным шумным пабом.
В контролируемой лабораторной среде LipPass достигла общей точности аутентификации на уровне 95,3%, что сопоставимо с результатами технологии распознавания голоса WeChat, точность которой 96,1%, и алгоритмом распознавания лиц Alipay, его точность — 97,2%. Интересно, что точность LipPass оставалась относительно стабильной в различных средах, в то время как точность работы WeChat упала до 21,3% в шумной среде, а точность распознавания лица Alipay снизилась до 20,4% в темноте.
Попытки взлома LipPass
Разработчики проверили, можно ли взломать систему LipPass. Они попробовали три способа: воспроизведение звука, имитацию движений губ и запись отраженного голоса пользователя. Во всех средах для всех видов атак успешность составила менее 10%. Хотя атаки, в которых использовался профиль эффекта Допплера пользователя, были успешными на 20% в контролируемой лабораторной среде. Однако ученые отмечают, что злоумышленник должен находиться очень близко к пользователю (на расстоянии 50 см), чтобы записать данные достаточно высокого качества для взлома. Это чрезвычайно сложно сделать незаметно.
Исследователи планируют применить технологию аутентификации пользователей для «умного» дома, разработав похожее приложение для колонок Amazon Echo и Google Home.
