模型详细情况和参数
DeepSeek LLM 7B Base是DeepSeekAI开源的一个大语言模型。DeepSeekAI是中国知名私募幻方量化旗下的一个人工智能大模型企业。
DeepSeek LLM 7B Base是他们开源的一个70亿参数版本的大语言模型,其效果与LLaMA2-7B差不多。但是中文任务评测结果明显好于LLaMA2-7B。DeepSeek LLM模型本身包含了四个版本,2个参数规模等级,分别是7B和67B,而模型本身区分Base版本的基座模型和对话调优的Chat版本。
DeepSeek LLM 7B Base这里说的是70亿参数的基座版本。DeepSeekLLM四个版本的评测数据如下:
Model | TriviaQA | MMLU | GSM8K | HumanEval | BBH | C-Eval | CMMLU | ChineseQA |
---|---|---|---|---|---|---|---|---|
DeepSeek LLM 7B Base | 59.7 | 48.2 | 17.4 | 26.2 | 39.5 | 45.0 | 47.2 | 78.0 |
DeepSeek LLM 67B Base | 78.9 | 71.3 | 63.4 | 42.7 | 68.7 | 66.1 | 70.8 | 87.6 |
DeepSeek LLM 7B Chat | 57.9 | 49.4 | 62.6 | 48.2 | 42.3 | 47.0 | 49.7 | 75.0 |
DeepSeek LLM 67B Chat | 81.5 | 71.1 | 84.1 | 73.8 | 71.7 | 65.2 | 67.8 | 85.1 |