更好细节的3D对象生成模型——NVIDIA开源GET3D模型代码和训练

论文名：GET3D: A Generative Model of High Quality 3D Textured Shapes Learned from Images

发布时间：2022年9月

论文地址：https://arxiv.org/abs/2209.11163

代码地址：https://github.com/nv-tlabs/GET3D

原文摘要：随着多个行业正朝着建模大规模3D虚拟世界的方向发展，人们越来越需要能够根据3D内容的数量、质量和多样性进行扩展的内容创建工具。在我们的工作中，我们的目标是训练性能良好的3D生成模型，该模型可以合成可直接由3D渲染引擎使用的纹理网格，从而立即在下游应用程序中使用。之前关于3D生成建模的工作要么缺乏几何细节，要么只能生成有限的网格拓扑，通常不支持纹理，要么在合成过程中使用神经渲染器，这使得它们在通用3D软件中的使用非常重要。在这项工作中，我们介绍了GET3D，这是一种生成模型，可以直接生成具有复杂拓扑、丰富几何细节和高保真纹理的显式纹理3D网格。我们将最近在可微分曲面建模、可微分渲染以及2D生成对抗网络方面取得的成功联系起来，从2D图像集合中训练我们的模型。GET3D能够生成高质量的3D纹理网格，从汽车、椅子、动物、摩托车和人物到建筑物，与以前的方法相比有了显著的改进。