NVIDIA разработала нейросеть Neuralangelo на основе Instant NeRF, генерирующую 3D-модели реальных объектов по нескольким двумерным фотографиям с различных ракурсов. Компания утверждает, что Neuralangelo значительно превосходит аналогичные модели и ускорит разработку в таких областях, как видеоигры, виртуальная реальность и робототехника.
Отличительной способностью нейросети, обуславливающей ее превосходство над предыдущими моделями, является точное воспроизведение текстур сложных материалов, таких как черепица, стекло и мрамор. При этом для получения детализированного рендера в качестве входных данных будет достаточно видео, снятого на смартфон.
UPD 16.08.2023: код доступен в открытом доступе на Github
Как работает Neuralangelo
Nuralangelo разработана на основе NVIDIA Instant NeRF – модели, анонсированной в марте 2022 года. По нескольким фотографиям с различных ракурсов нейросеть формирует карты глубины поверхности объекта и его цвета. Сначала алгоритм создает модель объекта на грубой 3D-сетке, а затем итеративно увеличивает ее разрешение, добиваясь наилучшего соответствия реальному объекту.
Нейросеть подходит для получения 3D-моделей как крупных объектов (например, здания или грузовика), так и небольших (например, статуэтки). Рендеринг одной сцены занимает около двух часов.
