Точные и устойчивые методы распознавания киви — это одна из открытых проблем в создании роботов для селективного сбора урожая. Системы компьютерного зрения сталкиваются с такими сложностями, как изменение световых условий и перекрытие объектов. Чтобы решить эти сложности, исследователи используют модель семантической сегментации и предлагают две новые техники для препроцессинга входных изображений.
Проблемы прошлых подходов
Основными причинами отсутствия коммерческих проектах по использованию роботов для сбора урожая являются низкая точность подходов к распознаванию фруктов и неэффективность методов локализации.
Архитектура модели
В качестве архитектуры модели исследователи используют FCN-8s нейросеть. Нейросеть обучали на 63 снимках с 113 киви. Обучающая выборка была размечена вручную.
Тестирование подхода
Эффективность предложенного подхода оценивали в 3D модели фруктового сада. Тестовая локация обеспечивала различие в световых условиях: стандартное, передержанное и яркое. Только модель семантической сегментации выдает предсказания с F-мерой 0.82 на наборе изображений со стандартным освещением. Однако для изображений с осложненным освещением метрика падает до 0.13. При добавлении предложенного метода препроцессинга скор модели на сложных данных повышается до 0.42. По результатам тестов, итоговая модель смогла распознать 87% не перекрытых и 30% перекрытых фруктов на снимках для всех типов освещения.
