Google Lens — приложение для определения объектов через объектив камеры. Вчера ему исполнился один год, в честь этого руководитель AR направления Google в своем блоге выпустила пост, в котором рассказала, каких успехов удалось достичь за этот год и не ждет ли его участь Google+.
Число объектов, которые распознает Google Lens выросло в четыре раза за 2018 год и достигло миллиарда. Большая часть объектов попала в приложение через сервис Google Shopping. Его используют, чтобы сравнить цены на продукты в магазине и онлайн. Теперь Google Lens научилось распознавать текст и объекты реального мира и обзавелось новыми функциями.
Поиск соответствия
Алгоритм Google Lens сверяет то, что видит камера, с тысячами изображений поисковых запросов и выдает правильный ответ. Приложение использует машинное обучение, алгоритмы компьютерного зрения и TensorFlow, чтобы распознать объект и найти соответствие. Список объектов практически бесконечен: мебель, одежда, книги, животные, фильмы, музыкальные альбомы, видеоигры, достопримечательности, цветы, напитки, знаменитости и многое другое. Например, можно сфотографировать собаку, чтобы узнать её породу, как на изображении ниже:
В Google отмечают, что алгоритм не всегда работает правильно и связывают это с обучающей выборкой. Фотографии, которые делают пользователи могут быть не такими качественными или снятыми под другим углом — это влияет на результат распознавания. Разработчики планируют улучшить работу алгоритма, добавив больше снимков, которые выглядят так, будто сделаны на камеру смартфона.
Чтение текста
Разработчики научили камеру «читать». Теперь можно скопировать текст, который видит камера прямо в телефон. Например, перенести рецепт из кулинарной книги в заметки, превратив его в список продуктов. Также камера сможет скопировать телефон с визитки и позвонить на него, либо занести в лист контактов. Алгоритмы обучаются, используя разные символы, языки, шрифты, образцы сканов книг из Google Books. Для того, чтобы распознать похожие символы, как «о» и «0″ алгоритм ищет соответствие и проверяет описание в интернете.
Что касается будущего развития Google Lens, разработчики связывают его с развитием нейронных сетей: «Мы вступаем в новую фазу вычислений: эру камеры» — написали в блоге Google AI. «Камера с нейронной сетью сможет поместить ответы прямо туда, где находятся вопросы — показывая нужное направление направление на улице, помогая найти нужные продукты на полках магазинов или мгновенно переводя любое слово перед нами в чужом городе. Мы сможем оплачивать наши счета и узнавать больше обо всем, что нас окружает, просто открыв камеру».
