Исследователи из University of Hong Kong и Technical University of Munich обучили RL-агента восстанавливать 3D форму объектов. Агент в процессе обучения выучивает политики 3D моделирования.
В программах для 3D моделирования, как Maya, модель обычно создается в два этапа:
- Форма объекта приближается с помощью набора базовых блоков (примитивов);
- Редактирование 3D сетки (mesh) с целью детализирования геометрии формы
Исследователи предлагают адаптировать такой двухступенчатый подход для обучения нейросети с помощью RL-агента. Агент принимает действия и получает награду за верно выбранные действия в интерактивной среде. Так, агент сначала выучивается разбивать целевую форму объекта на примитивы, а затем детализировать форму. Исследователи предлагают алгоритм обучения, который комбинирует эвристическую политику (heuristic policy), имитационное обучение и обучение с подкреплением. По результатам экспериментов, алгоритм способен генерировать устойчивые 3D сетки.
Архитектура модели
Цель алгоритма в том, что бы генерировать 3D сетку объекта по аналогии с тем, как это делает человек, когда работает с ПО для 3D моделирования. Сначала Prim-Agent на основе референса формы аппроксимирует форму объекта с помощью примитивов. Затем Mesh-Agent редактирует сетку, чтобы детализировать геометрические характеристики формы.
Тестирование работы алгоритма
Исследователи обучили модель на трех категориях объектов: самолет, гитара и машина. Данные 3D форм объектов собрали из датасета ShapeNet. В тестовой выборке было по 100 объектов каждого класса. Ниже видно, как модель по референсу формы сначала аппроксимирует форму с помощью Prim-Agent, а затем детализирует ее с помощью Mesh-Agent.
