Нейросеть генерирует 3D-модель объекта на основе его наброска. На вход модель получает эскиз объекта в растровом формате. На выходе генерирует объект на эскизе в 3D. Модель была разработана исследователями из MIT.
В сравнении с предыдущими методами геометрическое представление объекта позволяет достоверно реконструировать точные границы объекта. Геометрическое представление не зависит от разрешения входного объекта.
Моделирование формы объекта на основе эскиза фокусируется на восстановлении 3D геометрии объекта. Стандартные методы решения этой задачи требуют бесшумные векторизованные данные на вход, что неактуально для набросков. Помимо этого, стандартные модели не выдают правдоподобных результатов. Предложенная нейросеть адаптирует форму объекта с 2D наброска на 3D и выдает изменяемую модель объекта.
Чтобы модель точно выучила геометрию созданного человеком объекта, исследователи предлагают использовать специальное представление формы объекта, которое основано на Coons patches. Coons patch — это концепт из компьютерной графики, параметрическое уравнение поверхности, описывающее часть формы объекта. Однако напрямую обучать нейросеть на наборах уравнений не представляется возможным из-за недостатка данных. Исследователи предлагают метод для синтетической генерации дополнительных параметров объекта на основе эскиза. Функция потерь сформулирована так, чтобы нейросеть не выдавала самопересекающиеся фигуры. Качество модели тестируется на наборах синтетических и реальных эскизах.
Данные
Пайплайн генерации и аугментации данных состоял из четырех шагов:
- Берется 3D модель объекта и с помощью Autodesk Maya достаются его контуры;
- Контуры объекта векторизуются с помощью метода Bessmeltsev и Solomon;
- Векторные представления контуров стохастически модифицируются;
- С помощью модели, которая генерирует карандашный рисунок, синтезируется финальный набросок объекта, который затем подается на вход предложенной нейросети
В нейросети объект представляется как набор векторов, описывающих его геометрию. Геометрическая репрезентация объекта составляется из Coons patches (а). Патчи собираются в деформируемый шаблон (b). Исследователи разработали отдельные шаблоны для каждой категории форм (с): гитары, самолеты, ванны и ножи.
Архитектура модели
Процесс обучения нейросети состоит из следующих шагов:
- Изображение наброска кодируется с помощью нескольких сверточных слоев и residual блоков;
- На выходе полносвязного слоя получаются параметры объекта, которые описывают набор Coons патчей;
- Рассчитываются 5 функций потерь на основе предсказанных патчей и реальных 3D модели и шаблона объекта;
- Общая функция потерь оптимизируется через метод обратного распространения ошибки
Оценка результатов работы нейросети
Исследователи оценивают работу модели на сгенерированных скетчах (см. часть про генерацию данных) и реальных, которые были нарисованы человеком. Для проверки на реальных набросках каждому художнику показывали 3D модель объекта и просили ее зарисовать.
Результаты модели на синтетических данных сравнимы с результатами на реальных данных.
