Guanaco - Guanaco
模型详细情况和参数
Guanaco
- 模型全称
- Guanaco
- 模型简称
- Guanaco
- 模型类型
- 基础大模型
- 发布日期
- 2023-05-23
- 预训练文件大小
- 未知
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 650.0
- 模型代码开源协议
- MIT License
- 预训练结果开源商用情况
- MIT License - 免费商用授权
- 模型GitHub链接
- https://github.com/artidoro/qlora
- 模型HuggingFace链接
- https://huggingface.co/spaces/uwnlp/guanaco-playground-tgi
- 在线演示地址
- 暂无
- 基础模型
-
LLaMA
查看详情 - 发布机构
Guanaco 简介
Guanaco是华盛顿大学NLP小组发布的QLoRA方法的预训练结果模型，基于LLaMA微调。包含4个版本：
| Guanaco模型名称 | Guanaco模型参数量 |
|---|---|
| Guanaco 65B | 650亿 |
| Guanaco 33B | 330亿 |
| Guanaco 13B | 130亿 |
| Guanaco 7B | 70亿 |
QLoRA是一种非常高效的大模型预训练技术，可以支持在单张专业级显卡微调650亿参数规模的大模型，具有很好的效果。关于QLoRA技术的简介： https://www.datalearner.com/blog/1051685029967582
注意，Guanaco模型基于LLaMA模型微调得到，受限于LLaMA不允许商用的限制，Guanaco也不能商用！
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
Guanaco所属的领域
Guanaco相关的任务
