Stable Zero123 简介

模型简介

Stable Zero123是一个革命性的三维对象生成模型，基于Stable Diffusion 1.5开发。它专注于从不同角度理解和生成对象的新视图。与先前的Zero1-to-3或Zero123-XL模型相比，由于改进了训练数据集和高程条件化处理，Stable Zero123展示了更高质量的结果。

技术细节

1. 数据集和渲染技术: Stable Zero123使用改进的训练数据集，从Objaverse中筛选出高质量的3D对象，并采用更加逼真的渲染方法。
2. 高程条件化: 在训练和推断过程中，模型被提供了估计的相机角度，这使得它能做出更高质量的预测。
3. 预计算数据集与高效数据加载器: 结合第一项创新，这些技术实现了与Zero123-XL相比40倍的训练效率提升。
4. VRAM使用和性能: Stable Zero123在生成单个新视图时，消耗与SD1.5相同的VRAM。但是，生成3D对象需要更多时间和内存（推荐24GB VRAM）。

Stable Zero123的效果

将Stable Zero123与Zero123-XL在不同视角下的预测结果进行比较。对比如下，可以看到Stabe Zero123的细节更加细致一点。

使用方式

• 这个模型是不可商用的，只能用于研究目的！
• 3D对象创建: 改进了threestudio的开源代码，以支持Zero123和Stable Zero123，使用Score Distillation Sampling（SDS）优化NeRF，从而创建纹理化的3D网格。这个过程可以通过首先使用SDXL生成单一图像，然后使用Stable Zero123生成3D对象来适应文本到3D的生成。

结论

Stable Zero123代表了3D对象生成领域的一个重要进步，通过其创新的技术，为研究和非商业用途提供了强大的工具。虽然它目前不适用于商业目的，但它开启了3D视觉和图像生成技术新篇章的大门。