ControlNet - ControlNet
模型详细情况和参数
ControlNet
- 模型全称
- ControlNet
- 模型简称
- ControlNet
- 模型类型
- 基础大模型
- 发布日期
- 2023-02-10
- 预训练文件大小
- 未知
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 0.0
- 模型GitHub链接
- 暂无
- 模型HuggingFace链接
- 暂无
- 在线演示地址
- 暂无
- 基础模型
- 无基础模型
- 发布机构
ControlNet 简介
ControlNet是一个系列模型。模型相关论文内容参考： 大模型预训练模型微调新模式——ControlNet：提高大模型在特定任务微调的效果
ControlNet是一种新的神将网络结构，由斯坦福大学的Lvmin Zhang和Maneesh Agrawala提出的可以用来增强扩散模型的方法。主要是基于已有的Text-to-Image预训练模型对特定数据进行微调以更加适合使用者的目的。这个结构最大的特点是可以在比较资源少的设备如个人PC上对大模型进行调整以获得更好的效果。
这个结构可以帮助大家去训练模型，提高模型在一些特定任务上的效果。大模型一般可能是文本-图像对应关系训练的。但是这种模型在边缘检测、关键点识别等任务上需要做微调。微调的代价比较高，效果也不确定，而ControlNets的作用就是和原来的大模型一起对特定任务重训练的方法。
微软最新的Visual ChatGPT的也用到了这个能力。
| 模型名称 | 类型 | 地址 |
|---|---|---|
| Controlnet - Canny Version | Canny边缘检测 | https://huggingface.co/lllyasviel/sd-controlnet-canny |
| Controlnet - Image Segmentation Version | 图像分割 | https://huggingface.co/lllyasviel/sd-controlnet-seg |
| Controlnet - Scribble Version | 图片涂鸦 | https://huggingface.co/lllyasviel/sd-controlnet-scribble |
| Controlnet - Normal Map Version | 法线估计 | https://huggingface.co/lllyasviel/sd-controlnet-normal |
| Controlnet - M-LSD Straight Line Version | 直线提取 | https://huggingface.co/lllyasviel/sd-controlnet-mlsd |
| Controlnet - Depth Version | 图片深度估计 | https://huggingface.co/lllyasviel/sd-controlnet-depth |
| Controlnet - HED Boundary Version | HED 网络的图像边缘检测 | https://huggingface.co/lllyasviel/sd-controlnet-hed |
| Controlnet - Human Pose Version | 人类姿态估计 | https://huggingface.co/lllyasviel/sd-controlnet-openpose |
这些模型都是作者实现的，将ControlNet与知名的算法结合的预训练结果，效果很好，可以直接使用！
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
ControlNet所属的领域
