Stable Video Diffusion 简介

更多介绍参考： https://www.datalearner.com/blog/1051700786899649 

SVD模型简介

SVD全称Stable Video Diffusion，是StabilityAI最新的开源文本生成视频大模型。这个模型是基于Stable Diffusion 2.1进行初始化，然后通过在图像模型中插入时空卷积和注意力层来构建这个视频生成模型的架构，最终在1.52亿视频数据集上训练得到。

这个模型可以生成14帧的576x1024分辨率的视频（还有一个SVD-XT版本，可以生成25帧的视频）。

下面的gif就是生成的样例~

SVD模型的训练细节

SVD模型的训练分为3个阶段:

1. 图像预训练：使用Stable Diffusion 2.1的图像模型进行初始化。这提供了强大的视觉表示能力。
2. 视频预训练：在预训练的图像模型中插入时空卷积和注意力层,构建视频模型的架构。在大规模视频数据集上预训练视频模型。该数据集是通过提出的系统性数据筛选方法获得,包含1.52亿视频样本。这一阶段是在较低分辨率下进行,获得通用的运动表示。
3. 高分辨率视频微调：使用少量高质量视频数据(约100万)在更高分辨率下进行模型微调。这是获得高分辨率、高质量视频生成的关键步骤。

注意，Stable Video Diffusion模型的参数没有完整公布，根据它是Stable Diffusion 2.1加入时空卷积和注意力层的模型架构，它的参数应该是大于Stable Diffusions 2.1。而SD 2.1模型的参数为9.83亿，因此，该模型的参数数量应该是超过10亿的。

训练技巧包括:

• 按分辨率调整noise schedule
• 采用EDM训练框架
• 使用vanilla分类无关指导生成连贯结果

SVD模型相关的信息表格总结如下：

注意，SVD模型的代码通过MIT协议开源，完全免费商用授权。但是预训练结果官方说只能用于研究目的（research purpose only），不可以商用！。