大模型预训练模型微调新模式——ControlNet：提高大模型在特定任务微调的效果

论文名：Adding Conditional Control to Text-to-Image Diffusion Models

发布时间：2023-02-10

论文地址：https://arxiv.org/abs/2302.05543

代码地址：https://github.com/lllyasviel/ControlNet

原文摘要：我们提出了一种神经网络结构，即ControlNet，以控制预训练的大型扩散模型，支持额外的输入条件。ControlNet以端到端的方式学习特定的任务条件，即使训练数据集很小（<50k），学习也很稳健。此外，训练ControlNet的速度和微调扩散模型一样快，而且该模型可以在个人设备上训练。另外，如果有强大的计算集群，该模型可以扩展到大量（数百万到数十亿）的数据。实验证明，像稳定扩散这样的大型扩散模型可以用ControlNet来增强，以实现像边缘图、分割图、关键点等的条件输入。这可能会丰富控制大型扩散模型的方法，并进一步促进相关应用。