Apple анонсировала новую функцию на iPhone, iPad и Mac под названием Live Text, которая автоматически оцифровывает текст на фотографиях. Интеграция функции в поиск Spotlight на iOS позволит искать изображения на основе распознанного текста.
Распознавание текста на фотографиях ранее представили Samsung и Google, однако реализация Apple глубоко интегрирована в операционную систему, позволяя взаимодействовать с текстом на изображениях: скопировать и вставить его, выполнить поиск в Интернете и, если это номер телефона, позвонить по этому номеру. Live Text можно использовать для превращения рукописных заметок в электронные письма и поиска квитанций или рецептов. Live Text работает на основе нейронных сетей, работающих на самом устройстве. Такой подход, как утверждает Apple, позволяет значительно повысить уровень конфиденциальности, так как данные не отправляются в облако, а остаются на устройстве. Распознавание текста будет доступно на семи языках: английском, китайском (упрощенном и традиционном), французском, итальянском, немецком, испанском и португальском.
В дополнение к извлечению текста из фотографий, iOS 15 также позволит пользователям осуществлять визуальный поиск с помощью функции Visual Look Up, являющейся аналогом Google Lens и распознающей домашних животных с учетом породы, типы цветов, произведения искусства, книги, географические объекты и достопримечательности. iOS 15 будет доступна для установки осенью 2021-го года.
