GU
Guanaco
基础大模型Guanaco
发布时间: 2023-05-23更新于: 2023-05-31浏览量: 562
模型参数
650亿
上下文长度
2K
多语言支持
暂无数据
推理能力
暂无数据
Guanaco 是由 华盛顿大学自然语言处理小组 发布的 AI 模型，发布时间为 2023-05-23，定位为 基础大模型，参数规模约为 650亿，上下文长度为 2K，采用 MIT License 许可。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
Guanaco
模型基本信息
推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-05-23
模型文件大小
暂无数据
MoE架构
否
总参数 / 激活参数
650亿 / 不适用
知识截止
暂无数据
Guanaco
开源和体验地址
Guanaco
官方介绍与博客
DataLearnerAI博客
暂无
Guanaco
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
Guanaco
发布机构
华盛顿大学自然语言处理小组
查看发布机构详情 Guanaco
模型解读
Guanaco是华盛顿大学NLP小组发布的QLoRA方法的预训练结果模型，基于LLaMA微调。包含4个版本：
| Guanaco模型名称 | Guanaco模型参数量 |
|---|---|
| Guanaco 65B | 650亿 |
| Guanaco 33B | 330亿 |
| Guanaco 13B | 130亿 |
| Guanaco 7B | 70亿 |
QLoRA是一种非常高效的大模型预训练技术，可以支持在单张专业级显卡微调650亿参数规模的大模型，具有很好的效果。关于QLoRA技术的简介： https://www.datalearner.com/blog/1051685029967582
注意，Guanaco模型基于LLaMA模型微调得到，受限于LLaMA不允许商用的限制，Guanaco也不能商用！
基础模型
LLaMA
查看详情DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
