ControlNet是一个系列模型。模型相关论文内容参考：大模型预训练模型微调新模式——ControlNet：提高大模型在特定任务微调的效果

ControlNet是一种新的神将网络结构，由斯坦福大学的Lvmin Zhang和Maneesh Agrawala提出的可以用来增强扩散模型的方法。主要是基于已有的Text-to-Image预训练模型对特定数据进行微调以更加适合使用者的目的。这个结构最大的特点是可以在比较资源少的设备如个人PC上对大模型进行调整以获得更好的效果。

这个结构可以帮助大家去训练模型，提高模型在一些特定任务上的效果。大模型一般可能是文本-图像对应关系训练的。但是这种模型在边缘检测、关键点识别等任务上需要做微调。微调的代价比较高，效果也不确定，而ControlNets的作用就是和原来的大模型一起对特定任务重训练的方法。

微软最新的Visual ChatGPT的也用到了这个能力。

模型名称	类型	地址
Controlnet - Canny Version	Canny边缘检测	https://huggingface.co/lllyasviel/sd-controlnet-canny
Controlnet - Image Segmentation Version	图像分割	https://huggingface.co/lllyasviel/sd-controlnet-seg
Controlnet - Scribble Version	图片涂鸦	https://huggingface.co/lllyasviel/sd-controlnet-scribble
Controlnet - Normal Map Version	法线估计	https://huggingface.co/lllyasviel/sd-controlnet-normal
Controlnet - M-LSD Straight Line Version	直线提取	https://huggingface.co/lllyasviel/sd-controlnet-mlsd
Controlnet - Depth Version	图片深度估计	https://huggingface.co/lllyasviel/sd-controlnet-depth
Controlnet - HED Boundary Version	HED 网络的图像边缘检测	https://huggingface.co/lllyasviel/sd-controlnet-hed
Controlnet - Human Pose Version	人类姿态估计	https://huggingface.co/lllyasviel/sd-controlnet-openpose

这些模型都是作者实现的，将ControlNet与知名的算法结合的预训练结果，效果很好，可以直接使用！

ControlNet

模型基本信息

最高上下文输入长度

最长输出结果

模型类型

发布时间

模型预文件大小

开源和体验地址

代码开源状态

预训练权重开源

GitHub 源码

Hugging Face

在线体验

官方介绍与博客

官方论文

DataLearnerAI博客

API接口信息

接口速度

接口价格

输入价格:

输出价格:

输入支持的模态

文本

图片

视频

音频

Embedding（向量）

输出支持的模态

文本

图片

视频

音频

Embedding（向量）

ControlNet模型在各大评测榜单的评分

发布机构

模型介绍

关注DataLearnerAI公众号