Ba

Baichuan2-13B-Base

基础大模型

Baichuan2-13B-Base

发布时间: 2023-09-06

模型参数(Parameters)
130.0
最高上下文长度(Context Length)
4K
是否支持中文
支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

4K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2023-09-06

模型预文件大小

27.8GB

开源和体验地址

代码开源状态
预训练权重开源
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

Baichuan2-13B-Base模型在各大评测榜单的评分

发布机构

模型介绍

Baichuan2-13B-Base是百川公司开源的百川系列大模型的第二代。是130亿参数规模的基础大模型。相比较第一代的模型,第二代的Baichuan2-13B-Base在各方面都有较大的提升。


Baichuan2系列包含3类:基础模型、微调(对齐)模型和量化版本的模型。其中Baichuan2-13B-Base是基础模型,130亿参数。


第二代的大模型在2.6万亿Tokens的高质量语料上训练,比第一代使用了更多的语料。


Baichuan2-13B-Base的推理显存需要27.5GB才能完成。具体Baichuan2-13B的推理显存(包括量化版本)参考如下


量化精度Baichuan2-13B
bf16 / fp1627.5 GB
8bits16.1 GB
4bits 8.6 GB


Baichuan2-7B系列所需的推理显存更小,参考 Baichuan2-7B-Base的DataLearner模型信息卡 。


相比较第一代的 Baichuan 13B Base ,第二代模型在文本理解、推理能力、数学方面都有较大的提升。并且也是免费商用授权,但需要获得授权许可~


Baichuan2-13B-Base模型在MMLU、C-Eval、AGIEval和GSM8K上的表现参考DataLearner大模型评测综合排行: https://www.datalearner.com/ai-models/llm-evaluation 


Baichuan2系列模型的详细介绍,包括训练细节、数据集等参考DataLearner官方描述: https://www.datalearner.com/blog/1051694226173083 

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat