• Метод точной оценки позы в 6DoF от исследователей Nvidia

    DeepIM 6DoF

    Разработчики Nvidia создали алгоритм DeepIM, который превосходит в точности существующие методы оценки положения объекта в 6DoF, что важно для роботов и VR приложений. Роборука предварительно анализирует положение объекта в пространстве и предказывает, как изменится положение объекта при перемещении. Чем точнее оценка и предсказание позы, тем точнее он захватывает объект и тем аккуратнее его перемещает, не задевая другие объекты в пространстве.

    6DoF

    DoF — степень свободы позы (degrees of freedom). Объект может перемещаться по трем осям и вращаться вокруг каждой, отсюда название 6DoF. Например, в шутерах применяется 4DoF степень свободы — субъект не может накрениться и вращается только вокруг вертикальной оси.

    Обучение нейросети

    Команда обучила нейросеть на 13 объектах из датасета LINEMOD, используя графические процессоры NVIDIA Tesla V100, с картой MXNet и ускоренной cuDNN. Алгоритм тренировали на 12000 сгенерированных изображений со случайными позами для каждого объекта. Помимо распознавания позы на цветном изображении, нейросеть обучается прогнозированию относительной трансформации SE, которая применяется к первоначальной оценке позы для уточнения итеративной позы.

    6DoF pose estimation results comparison
    Сравнение результатов с другими state-of-the-art методами

    «Работа открывает новые направления для будущих исследований. Например, мы ожидаем, что стерео версия DeepIM сможет еще больше улучшить точность оценки позы. Кроме того, DeepIM подтверждает, что можно уточнять оценку позы в 6D, используя только цветные изображения. Это позволит использовать камеры с высоким разрешением при высокой частоте кадров и с большим полем обзора, обеспечивая точную оценку позы роботами» — отмечают разработчики.

    Команда представляет исследование на конференции ECCV в Мюнхене на этой неделе.




    Оставить комментарий

    * Обязательные поля