模型详细情况和参数
Baichuan2-13B-Chat是百川公司开源的百川系列大模型的第二代。是130亿参数规模的聊天大模型,针对对话进行调优和对齐的版本。相比较第一代的模型,第二代的Baichuan2-13B-Chat在各方面都有较大的提升。
Baichuan2系列包含3类:基础模型、微调(对齐)模型和量化版本的模型。其中Baichuan2-13B-Chat是基础模型,130亿参数。
第二代的大模型在2.6万亿Tokens的高质量语料上训练,比第一代使用了更多的语料。
Baichuan2-13B-Chat的推理显存需要27.5GB才能完成。量化版本最低只需要8.6GB显存。具体Baichuan2-13B的推理显存(包括量化版本)参考如下:
量化精度 | Baichuan2-13B |
---|---|
bf16 / fp16 | 27.5 GB |
8bits | 16.1 GB |
4bits | 8.6 GB |
Baichuan2-7B系列所需的推理显存更小,参考 Baichuan2-7B-Base的DataLearner模型信息卡 。
相比较第一代的 Baichuan 13B Base ,第二代模型在文本理解、推理能力、数学方面都有较大的提升。并且也是免费商用授权,但需要获得授权许可~
Baichuan2-13B-Base模型在MMLU、C-Eval、AGIEval和GSM8K上的表现参考DataLearner大模型评测综合排行: https://www.datalearner.com/ai-models/llm-evaluation
Baichuan2系列模型的详细介绍,包括训练细节、数据集等参考DataLearner官方描述: https://www.datalearner.com/blog/1051694226173083