fbpx
  • RL-агента обучили восстанавливать 3D форму объектов

    Исследователи из University of Hong Kong и Technical University of Munich обучили RL-агента восстанавливать 3D форму объектов. Агент в процессе обучения выучивает политики 3D моделирования.

    В программах для 3D моделирования, как Maya, модель обычно создается в два этапа:

    1. Форма объекта приближается с помощью набора базовых блоков (примитивов);
    2. Редактирование 3D сетки (mesh) с целью детализирования геометрии формы 

    Исследователи предлагают адаптировать такой двухступенчатый подход для обучения нейросети с помощью RL-агента. Агент принимает действия и получает награду за верно выбранные действия в интерактивной среде. Так, агент сначала выучивается разбивать целевую форму объекта на примитивы, а затем детализировать форму. Исследователи предлагают алгоритм обучения, который комбинирует эвристическую политику (heuristic policy), имитационное обучение и обучение с подкреплением. По результатам экспериментов, алгоритм способен генерировать устойчивые 3D сетки.

    Архитектура модели

    Цель алгоритма в том, что бы генерировать 3D сетку объекта по аналогии с тем, как это делает человек, когда работает с ПО для 3D моделирования. Сначала Prim-Agent на основе референса формы аппроксимирует форму объекта с помощью примитивов. Затем Mesh-Agent редактирует сетку, чтобы детализировать геометрические характеристики формы.

    Визуализация составных частей фреймворка
    Иллюстрация процесса обучения модели

    Тестирование работы алгоритма 

    Исследователи обучили модель на трех категориях объектов: самолет, гитара и машина. Данные 3D форм объектов собрали из датасета ShapeNet. В тестовой выборке было по 100 объектов каждого класса. Ниже видно, как модель по референсу формы сначала аппроксимирует форму с помощью Prim-Agent, а затем детализирует ее с помощью Mesh-Agent.

    Пример сгенерированных 3D сеток