DeepSeekMoE 16B Base - DeepSeekMoE 16B Base
模型详细情况和参数
DeepSeekMoE 16B Base
- 模型全称
- DeepSeekMoE 16B Base
- 模型简称
- DeepSeekMoE 16B Base
- 模型类型
- 基础大模型
- 发布日期
- 2024-01-11
- 预训练文件大小
- 32.77GB
- 是否支持中文（中文优化）
- 是
- 最高支持的上下文长度
- 4K
- 模型参数数量（亿）
- 164.0
- 模型代码开源协议
- MIT License
- 预训练结果开源商用情况
- DEEPSEEK LICENSE AGREEMENT - 免费商用授权
- 模型GitHub链接
- https://github.com/deepseek-ai/DeepSeek-MoE
- 模型HuggingFace链接
- https://huggingface.co/deepseek-ai/deepseek-moe-16b-base
- 在线演示地址
- 暂无
- 基础模型
- 无基础模型
- 发布机构
DeepSeekMoE 16B Base 简介
DeepSeekMoE是幻方量化旗下大模型企业DeepSeek开源的一个混合专家大模型，也是目前已知的中国第一个开源的MoE大模型。
该模型参数164亿，但是单次推理只会使用28亿参数，因此可以理解为推理成本与30亿参数规模的大模型差不多。但是其效果和70亿参数规模的大模型等同。
| 参数内容 | LLaMA2-7B | DeepSeek 7B Base | DeepSeek MoE 16B |
|---|---|---|---|
| 模型参数 | 70亿 | 69亿 | 164亿 |
| 每次推理参数 | 70亿 | 69亿 | 28亿 |
| 4K输入的FLOPs | 187.9T | 183.5T | 74.4T |
| 训练数据集大小 | 2万亿tokens | 2万亿tokens | 2万亿tokens |
| MMLU 评分（文本理解） | 45.8 | 48.2 | 45 |
| CMMLU 评分（中文文本理解） | 14.6 | 47.2 | 42.5 |
| GSM8K评分（数学推理） | 15.5 | 17.4 | 18.8 |
| HumanEval评分（代码） | 14.6 | 26.2 | 26.8 |
| MBPP评分（代码） | 21.8 | 39.5 | 39.2 |
详细介绍参考： https://www.datalearner.com/blog/1051704952803167
该模型免费商用授权。
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
DeepSeekMoE 16B Base所属的领域
DeepSeekMoE 16B Base相关的任务
