Исследователи OpenAI опубликовали новую модель для генерации 3D-объектов POINT-E, с помощью которой облака точек создаются на основе текстовых подсказок. Новый метод не превосходит state-of-the-art модели с точки зрения качества создаваемых 3D-моделей, но работает на один-два порядка быстрее, предлагая практический компромисс. OpenAI разместила открытый исходный код проекта на Github.
Алгоритм работы модели Point-E
Алгоритм сначала создает одно синтетическое представление с использованием diffusion-модели для преобразования текста в изображение, а затем создает трехмерное облако точек с использованием второй diffusion-модели.
Результаты работы модели:
State-of-the art моделям по созданию 3D-объектов, таким как DreamFusion от Google и Magic3D от Nvidia, обычно требуются часы и несколько графических процессоров для генерации изображений. Это резко контрастирует с современными diffusion-моделями для генерации изображений, которые создают объекты за несколько секунд. Для получения результата от Point-E потребуется только один графический процессор и 1-2 минуты времени.
