Qwen2-1.5B - Qwen2-1.5B
模型详细情况和参数
Qwen2-1.5B
- 模型全称
- Qwen2-1.5B
- 模型简称
- Qwen2-1.5B
- 模型类型
- 基础大模型
- 发布日期
- 2024-06-07
- 预训练文件大小
- 3.09GB
- 是否支持中文（中文优化）
- 是
- 最高支持的上下文长度
- 32K
- 模型参数数量（亿）
- 15.0
- 模型代码开源协议
- Apache 2.0
- 预训练结果开源商用情况
- Apache 2.0 - 免费商用授权
- 模型GitHub链接
- https://github.com/QwenLM/Qwen2
- 模型HuggingFace链接
- https://huggingface.co/Qwen/Qwen2-1.5B
- DataLearnerAI的模型介绍
- 阿里巴巴开源第二代大语言模型Qwen2系列，最高参数规模700亿，评测结果位列开源模型第一，超过了Meta开源的Llama3-70B！
- 官方博客论文
- Hello Qwen2
- 基础模型
- 无基础模型
- 发布机构
Qwen2-1.5B 简介
阿里巴巴开源的15亿参数规模的大语言模型，是小规模参数语言模型中表现最强的一个。与其它小规模参数模型相比，该模型在不同评测结果上都取得了非常好的结果。下图是该模型与其它模型的对比结果：
| Datasets | Phi-2 | Gemma-2B | MiniCPM | Qwen1.5-1.8B | Qwen2-0.5B | Qwen2-1.5B |
|---|---|---|---|---|---|---|
| #Non-Emb Params | 2.5B | 2.0B | 2.4B | 1.3B | 0.35B | 1.3B |
| MMLU | 52.7 | 42.3 | 53.5 | 46.8 | 45.4 | 56.5 |
| MMLU-Pro | - | 15.9 | - | - | 14.7 | 21.8 |
| Theorem QA | - | - | - | - | 8.9 | 15.0 |
| HumanEval | 47.6 | 22.0 | 50.0 | 20.1 | 22.0 | 31.1 |
| MBPP | 55.0 | 29.2 | 47.3 | 18.0 | 22.0 | 37.4 |
| GSM8K | 57.2 | 17.7 | 53.8 | 38.4 | 36.5 | 58.5 |
| MATH | 3.5 | 11.8 | 10.2 | 10.1 | 10.7 | 21.7 |
| BBH | 43.4 | 35.2 | 36.9 | 24.2 | 28.4 | 37.2 |
| HellaSwag | 73.1 | 71.4 | 68.3 | 61.4 | 49.3 | 66.6 |
| Winogrande | 74.4 | 66.8 | - | 60.3 | 56.8 | 66.2 |
| ARC-C | 61.1 | 48.5 | - | 37.9 | 31.5 | 43.9 |
| TruthfulQA | 44.5 | 33.1 | - | 39.4 | 39.7 | 45.9 |
| C-Eval | 23.4 | 28.0 | 51.1 | 59.7 | 58.2 | 70.6 |
| CMMLU | 24.2 | - | 51.1 | 57.8 | 55.1 | 70.3 |
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
Qwen2-1.5B所属的领域
Qwen2-1.5B相关的任务
