模型详细情况和参数
Stable Diffusion是一个开源版本的Text-to-Image预训练模型,由于其效果与DALL·E2不相上下,又是开源模型,得到了广泛的关注。Stable Diffusion2于2022年11月24日发布,仅仅过了两个星期,2.1版本就发布了!
Stable Diffusion 2.1是Stable Diffusion2.0的一个小幅改进版本。Stable Diffsuion2的发布让该系列模型的解析度和能力大大增强,但是V2版本使用LAION的NSFW过滤器对其进行了成人内容过滤。当涉及到建筑、室内设计、野生动物和景观场景时,该数据集的图像质量大幅提升。但是过滤器大大减少了数据集中的人数,这意味着人们必须更加努力地工作,以获得类似的结果。因此,在听取了用户的意见之后,官方调整了过滤器。该过滤器仍然剔除了成人内容,但没有那么严格,从而减少了检测到的误报数量。官方用这个更新的设置对SD 2.0模型进行了微调,提供了一个兼顾两个方面的模型。它可以轻松地呈现出美丽的建筑理念和自然风光,同时也能创造出令人惊叹的人物形象和流行文化。新版本提供了改进的解剖结构和双手,在一系列令人难以置信的艺术风格上比SD 2.0要好得多。该模型还具有呈现非标准分辨率的能力。这有助于您完成各种令人惊叹的新任务,例如使用极端的纵横比,为您提供美丽的远景和史诗般的宽屏图像。
下图就是Stable Diffusion2.1的一个例子:
可以看到,效果十分好。总的来说,2.1版本的Stable Diffusion是基于V2版本的微调结果,但是做了继续的训练,因此效果会更好。
此外,很多人都注意到,“负面提示”在2.0版中效果很好,在2.1版中效果更好。
否定提示与提示相反;它们允许用户告诉模型不生成什么。负面提示通常会消除不必要的细节,如手部破损、手指过多、失焦和图像模糊。
通过在提示后面附加“|<negative prompt>:-1.0”,您可以很容易地在DreamStudio中给出否定提示。例如,附加“|毁容,丑陋:-1.0,太多手指:-1.0”有时会解决生成太多手指的问题。
用户可以使用加权提示提示模型在合成中包含更多或更少的某些元素,例如某些颜色、对象或属性。从标准提示开始,然后使用提示加权来细化整个图像,以增加或减少组成元素,从而使用户能够更好地控制图像合成。
总的来说,Stable Diffusion 2.1版本的改进如下:
重要的是,Stable Diffusion是开源的模型,2.1版本的文件大小只有5.21GB,大家可以下载使用了!
Stable Diffusion模型: https://www.datalearner.com/ai/pretrained-models/stable-diffusion
Stable Diffusion2模型: https://www.datalearner.com/ai/pretrained-models/stable-diffusion-2