Unique3D — это state-of-the модель для генерации 3D сеток по одному изображению. Код и веса Unique3D доступны в открытом доступе. Этот подход создает детализированные и согласованные 3D модели менее чем за 30 секунд, превосходя существующие методы.
Модель Unique3D
Пайплайн Unique3D начинается с одного произвольного изображения в качестве входных данных. Сначала с помощью диффузионной модели для многовидового обзора генерируются четыре ортографических изображения. Эти изображения затем постепенно увеличиваются через многоуровневый процесс. Далее нормальная диффузионная модель генерирует соответствующие карты нормалей, которые также увеличиваются. Наконец, высококачественные цветные изображения и карты нормалей используются для реконструкции высококачественных 3D сеток с использованием алгоритма ISOMER, обеспечивая быстрые и согласованные результаты.
Датасет
Датасет включает подмножество датасета Objaverse, сокращенное до примерно 50k объектов путем фильтрации сцен с множеством объектов, изображений низкого разрешения и однонаправленных лиц. Для обработки поверхностей без толщины на каждый объект рендерится восемь ортографических проекций, что позволяет выявить 13k случаев недопустимых данных с помощью анализа эпиполярных линий. Датасет дополняется случайными картами окружения и освещением, обеспечивая устойчивость. Все изображения рендерятся с разрешением 2048 × 2048 пикселей для обеспечения высокого качества генерации.
Процесс генерации изображения начинается с модели вариаций стабильной диффузии изображений, продолжается через увеличенную версию, настроенную из ControlNet-Tile, и завершается предварительно обученной моделью Real-ESRGAN. Начальная стадия предсказания карты нормалей также использует модель вариаций стабильной диффузии изображений.
Результаты
Интеграция цветовых и геометрических данных алгоритмом ISOMER является ключом к достижению высокого качества текстур и геометрической точности.
Сравнение производительности
Unique3D превосходит современные методы по метрикам PSNR, SSIM, LPIPS, Cpip-Sim и другим.
Cравнительная таблица:
