基于少量图片生成3D模型的扩散模型3DiM

论文名：Novel View Synthesis With Diffusion Model

发布时间：2022年10月

论文地址：https://3d-diffusion.github.io/static/paper.pdf

代码地址：https://3d-diffusion.github.io/

原文摘要：我们提出了3DiM（发音为 "three-dim"），这是一个用于从少量单张图像中合成三维新视图的扩散模型。3DiM的核心是一个图像到图像的扩散模型--3DiM将单一参考视图和相对姿势作为输入，并通过扩散生成一个新的视图。然后，3DiM可以按照我们新颖的随机调节采样器生成一个完整的三维一致性场景。场景的输出帧是以自回归方式生成的。在每个单独帧的反向扩散过程中，我们在每个去噪步骤中从以前的帧集合中选择一个随机调节帧。我们证明，与只对单个先前帧进行调节的天真采样过程相比，随机调节产生了更多的三维一致性结果。我们将3DiMs与先前在SRN ShapeNet数据集上的工作进行了比较，证明3DiM从单一视角生成的视频实现了更高的保真度，同时也是近似的三维一致性。我们还引入了一种新的评估方法--三维一致性评分，通过对模型的输出视图进行神经场训练，来衡量生成物体的三维一致性。3DiMs是无几何图形的，不依赖于超网络或测试时间优化的新型视图合成，并允许单个模型轻松扩展到大量的场景。