• Nvidia представила генератор 3D-модели по текстовому описанию Magic3D

    Magic3D model by Nvidia

    Исследователи из Nvidia 18 ноября представили Magic3D — генератор 3D-модели по текстовому описанию. После ввода текстовой подсказки, например «Синяя ядовитая лягушка, сидящая на кувшинке», Magic3D создает 3D модель с цветной текстурой примерно за 40 минут. Полученная 3D модель после модификаций может использоваться в видеоиграх или компьютерной графике для создания мультипликаций или спецэффектов в фильмах.


    neurohive telegram channel banner desktop

    Описание модели Magic3D

    В своей научной статье Nvidia представляет Magic3D как ответ на DreamFusion, преобразователь текста в 3D изображение, о котором исследователи Google объявили в сентябре.

    Magic3D model how it works
    По словам авторов статьи, получившийся в результате метод Magic3D может генерировать 3D-объекты в два раза быстрее, чем DreamFusion. На рендер одной модели требуется в среднем 40 минут.

    Magic3D использует двухэтапный процесс, который берет грубую модель, созданную в низком разрешении, и оптимизирует ее, приводя к более высокому разрешению. DreamFusion также использует модель преобразования текста в изображение для создания 2D-изображения, которое затем оптимизируется в 3D по методу NeRF (Neural Radiance Fields). В Magic3D получившуюся 3D-модель с низким разрешением можно отредактировать, изменив текст подсказки. Кроме того, авторы демонстрируют сохранение одного и того же объекта на протяжении нескольких эпох (эта концепция часто называется когерентностью) и применение стиля 2D-изображения, например, картины в стиле кубизм, к 3D-модели. К сожалению, Nvidia не открыла код модели в своей статье.

     

    Сравнение результатов с DreamFusion

    Возможность генерировать 3D из текста — естественная эволюцией современных diffusion-моделей, которые используют нейронные сети для синтеза нового контента после обучения на массиве данных. В 2022 году мы стали свидетелями выпуска моделей преобразования текста в изображение, таких как DALL-E и Stable Diffusion,  элементарных генераторов преобразования из текста в видео от Google. Два месяца назад Google также представил вышеупомянутую модель преобразования текста в 3D — DreamFusion, и с тех пор разработчики адаптировали аналогичные методы для работы с моделью с открытым исходным кодом, основанной на Stable Diffusion.

    Magic3D Nvidia vs DreamFusion
    Сравнение результатов работы моделей Magic3D от Nvidia и DreamFusion от Google

    Исследователи надеются, что модель позволит создавать 3D-модели без специальной подготовки. После доработки получившаяся технология может ускорить разработку видеоигр (и виртуальной реальности) и, возможно, в конечном итоге найти применение в спецэффектах для кино и телевидения. Ближе к концу статьи авторы пишут: «Мы надеемся, что с помощью Magic3D сможем демократизировать 3D-моделирование и открыть творческий потенциал каждого в создании 3D-контента».



    Подписаться
    Уведомить о
    guest

    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии