Когда пользователь набирает пароль на своём смартфоне, нажатия генерируют звуковую волну, которая распространяется по экрану смартфона и по воздуху. Микрофоны смартфона улавливают этот звук и могут восстанавить пароль, так как для каждой части экрана характерен свой звук. Используя эту информацию, был создан алгоритм, который благодаря звукам нажатий мог восстановить набранную последовательность символов.
Результаты эксперимента
Исследователи провели эксперимент, в ходе которого 45 участников с мобильным устройством на Android тестировали возможность подобрать пароль. За 200 подходов были подобраны 61% четырехзначных паролей менее чем за 20 попыток, даже если модель не была обучена на данных конкретного телефона. Для смартфона было восстановлено 8 слов размером с 7-13 букв за 20 попыток.
Как это работает
Когда пользователь касается экрана смартфона, звуковые волны начинают распространятся не только по воздуху, но и через само мобильное устройство. Как только экран начинает вибрировать, «вибрационные паттерны» могут быть обнаружены, и при наблюдении с несколькими микрофонами их можно различить, так как они уникальны.
Тестирование
Алгоритм тестировался на Android 5.1.1, на которой недоступна обратная связь с PIN-кодом, поэтому распознавался вводимый на клавиатуре текст. Участники испытывали программу в 3-х разных местах университета. В общей комнате, где было очень шумно; в читальном зале, где люди печатали и разговаривали в пол голоса; в библиотеке, где люди молчат, но слышны звуки ноутбуков. Во всех трёх местах были открыты окна, из которых исходил внешний шум. Так как скорость звука зависит от температуры, эксперименты проходили только при температуре в 22-25 градусов без лишних запущенных на телефоне фоновых процессов.
Тестирование совершалось на двух разных устройствах LG Nexus 5 и планшете Nexus 9 (все устройства с Android 5.1.1). Размеры Nexus 5 составляют 137,84 × 69,17 × 8,59 мм, Nexus 9 — 228,2 × 153,7 × 8 мм. Это довольно тонкие устройства, в которых внутренние компоненты расположены близко друг к другу. Оба устройства имеют два микрофона, к которым можно получить доступ с помощью Android SDK.
В эксперименте участвовали 45 человек, было записано 30 часов аудио. Во время эксперимента было использовано 70% данных для тренировки программы и 30% данных для тестирования. Внизу представлена таблица правильности определения PIN-кодов.
На телефоне в портретной ориентации 146 PIN-кодов из 200 были определены с использованием до 10 попыток. 8 из 27 слов длинною от 7 до 13 букв были определены c использованием до 20 попыток.
На планшете было восстановлено 19 из 27 слов за менее чем 10 попыток.
