Исследователи MIT и Adobe Research разработали инструмент, идентифицирующий материал предметов на фотографиях. Потенциальные приложения метода включают понимание сцен роботами, редактирование статичного и видеоконтента, а также улучшение рекомендательный систем в интернет-магазинах.
Сложность определения материала обусловлена тем, что из одного и того же материала изготавливаются объекты различной формы, а на их оптические свойства сильно влияют условия освещения. Для решения этой задачи ученые дообучили модель компьютерного зрения DINO на синтетическом датасете, который включал 50 000 изображений и более 16 000 материалов, случайным образом примененных к каждому объекту.
Алгоритм на основе пикселя изображения, выбранного пользователем, размечает все пиксели, предметы на которых имеют такой же материал. Модель потенциально расширяема на видеоконтент: как только пользователь идентифицирует пиксель в первом кадре, модель может идентифицировать объекты, сделанные из того же материала, на протяжении всего остального видео. Примеры:
Модель вычисляет оценку сходства материала для каждого пикселя изображения. Когда пользователь выбирает пиксель, модель вычисляет, насколько близок по внешнему виду каждый другой пиксель. Алгоритм создает карту, где каждый пиксель ранжируется по шкале от 0 до 1 на предмет сходства. Поскольку модель формирует оценку сходства для каждого пикселя, пользователь может самостоятельно настроить ее, установив пороговое значение точности и получить карту изображения с выделенными областями.
Инструмент позволит усовершенствовать точность движений роботов: данные о материалах помогут более точно подобрать усилие, с которым необходимо поднять предмет, не повредив его.
