Qwen-1.8B
基础大模型Qwen-1.8B
发布时间: 2023-11-30
模型参数（Parameters）
18.0
最高上下文长度（Context Length）
8K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
8K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2023-11-30
模型预文件大小
3.6GB
开源和体验地址
代码开源状态
预训练权重开源
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
Qwen-1.8B模型在各大评测榜单的评分
发布机构
阿里巴巴
查看发布机构详情
模型介绍
阿里巴巴达摩院开源的18亿参数规模的大语言模型。
Qwen-1.8B模型是基座模型，阿里巴巴还开源了对齐后的聊天优化版本的Qwen-1.8B-Chat以及量化版本。具体的模型如下：
Qwen-1.8B基座模型： https://huggingface.co/Qwen/Qwen-1_8B
Qwen-1.8B-Chat的聊天的对齐优化模型： https://huggingface.co/Qwen/Qwen-1_8B
Int8量化版本的对齐优化模型Qwen-1.8B-Chat-Int8： https://huggingface.co/Qwen/Qwen-1_8B-Chat-Int8
Int4量化版本的对齐优化模型Qwen-1.8B-Chat-Int4： https://huggingface.co/Qwen/Qwen-1_8B-Chat-Int4
关于模型的介绍参考： https://www.datalearner.com/blog/1051701271552217
Qwen-1.8B模型的评测结果如下：
MMLU评测结果：
| Model | Avg. |
|---|---|
| GPT-Neo-1.3B | 24.6 |
| OPT-1.3B | 25.1 |
| Pythia-1B | 26.6 |
| Bloom-1.1B | 26.7 |
| Bloom-1.7B | 27.7 |
| Bloomz-1.7B | 30.7 |
| Bloomz-3B | 33.3 |
| Qwen-1.8B | 45.3 |
Qwen-1.8B模型的代码评测结果（HumanEval）：
| Model | Pass@1 |
|---|---|
| GPT-Neo-1.3B | 3.66 |
| GPT-Neo-2.7B | 7.93 |
| Pythia-1B | 3.67 |
| Pythia-2.8B | 5.49 |
| Bloom-1.1B | 2.48 |
| Bloom-1.7B | 4.03 |
| Bloom-3B | 6.48 |
| Bloomz-1.7B | 4.38 |
| Bloomz-3B | 6.71 |
| Qwen-1.8B | 15.2 |
Qwen-1.8B模型的数学评测（GSM8K）：
| Model | Acc. |
|---|---|
| GPT-Neo-1.3B | 1.97 |
| GPT-Neo-2.7B | 1.74 |
| Pythia-1B | 2.20 |
| Pythia-2.8B | 3.11 |
| Openllama-3B | 3.11 |
| Bloom-1.1B | 1.82 |
| Bloom-1.7B | 2.05 |
| Bloom-3B | 1.82 |
| Bloomz-1.7B | 2.05 |
| Bloomz-3B | 3.03 |
| Qwen-1.8B | 32.3 |
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
