fbpx
  • Нейросеть распознает киви для селективного сбора урожая

    Точные и устойчивые методы распознавания киви — это одна из открытых проблем в создании роботов для селективного сбора урожая. Системы компьютерного зрения сталкиваются с такими сложностями, как изменение световых условий и перекрытие объектов. Чтобы решить эти сложности, исследователи используют модель семантической сегментации и предлагают две новые техники для препроцессинга входных изображений.

    Проблемы прошлых подходов

    Основными причинами отсутствия коммерческих проектах по использованию роботов для сбора урожая являются низкая точность подходов к распознаванию фруктов и неэффективность методов локализации.

    Архитектура модели

    В качестве архитектуры модели исследователи используют FCN-8s нейросеть. Нейросеть обучали на 63 снимках с 113 киви. Обучающая выборка была размечена вручную.

    Тестирование подхода

    Эффективность предложенного подхода оценивали в 3D модели фруктового сада. Тестовая локация обеспечивала различие в световых условиях: стандартное, передержанное и яркое. Только модель семантической сегментации выдает предсказания с F-мерой 0.82 на наборе изображений со стандартным освещением. Однако для изображений с осложненным освещением метрика падает до 0.13. При добавлении предложенного метода препроцессинга скор модели на сложных данных повышается до 0.42. По результатам тестов, итоговая модель смогла распознать 87% не перекрытых и 30% перекрытых фруктов на снимках для всех типов освещения.