ControlNet
ControlNet
模型参数
未披露
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2023-02-10
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
0.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
个人
查看发布机构详情 模型解读
ControlNet是一个系列模型。模型相关论文内容参考： 大模型预训练模型微调新模式——ControlNet：提高大模型在特定任务微调的效果
ControlNet是一种新的神将网络结构，由斯坦福大学的Lvmin Zhang和Maneesh Agrawala提出的可以用来增强扩散模型的方法。主要是基于已有的Text-to-Image预训练模型对特定数据进行微调以更加适合使用者的目的。这个结构最大的特点是可以在比较资源少的设备如个人PC上对大模型进行调整以获得更好的效果。
这个结构可以帮助大家去训练模型，提高模型在一些特定任务上的效果。大模型一般可能是文本-图像对应关系训练的。但是这种模型在边缘检测、关键点识别等任务上需要做微调。微调的代价比较高，效果也不确定，而ControlNets的作用就是和原来的大模型一起对特定任务重训练的方法。
微软最新的Visual ChatGPT的也用到了这个能力。
| 模型名称 | 类型 | 地址 |
|---|---|---|
| Controlnet - Canny Version | Canny边缘检测 | https://huggingface.co/lllyasviel/sd-controlnet-canny |
| Controlnet - Image Segmentation Version | 图像分割 | https://huggingface.co/lllyasviel/sd-controlnet-seg |
| Controlnet - Scribble Version | 图片涂鸦 | https://huggingface.co/lllyasviel/sd-controlnet-scribble |
| Controlnet - Normal Map Version | 法线估计 | https://huggingface.co/lllyasviel/sd-controlnet-normal |
| Controlnet - M-LSD Straight Line Version | 直线提取 | https://huggingface.co/lllyasviel/sd-controlnet-mlsd |
| Controlnet - Depth Version | 图片深度估计 | https://huggingface.co/lllyasviel/sd-controlnet-depth |
| Controlnet - HED Boundary Version | HED 网络的图像边缘检测 | https://huggingface.co/lllyasviel/sd-controlnet-hed |
| Controlnet - Human Pose Version | 人类姿态估计 | https://huggingface.co/lllyasviel/sd-controlnet-openpose |
这些模型都是作者实现的，将ControlNet与知名的算法结合的预训练结果，效果很好，可以直接使用！
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
