Mistral-7B-Instruct-v0.3 - Mistral-7B-Instruct-v0.3

模型详细情况和参数

Mistral-7B-Instruct-v0.3

模型全称
Mistral-7B-Instruct-v0.3
模型简称
Mistral-7B-Instruct-v0.3
模型类型
聊天大模型
发布日期
2024-05-22
预训练文件大小
14GB
是否支持中文(中文优化)
最高支持的上下文长度
4K
模型参数数量(亿)
70.0
模型代码开源协议
Apache 2.0
预训练结果开源商用情况
Apache 2.0 - 免费商用授权
模型GitHub链接
暂无
在线演示地址
暂无
DataLearnerAI的模型介绍
官方博客论文
暂无
基础模型
无基础模型
发布机构
评测结果
评测名称 评测能力方向 评测结果
MMLU 知识问答 64.2
MMLU Pro 知识问答 30.9
GSM8K 数学推理 36.2
HumanEval 代码生成 29.3
MBPP 代码生成 51.1
ARC 常识推理 60.0
MATH 数学推理 10.2
BBH 综合评估 56.1
GPQA Diamond 常识推理 24.7

Mistral-7B-Instruct-v0.3 简介

MistralAI开源的70亿参数规模大语言模型Mistral-7B的v0.3版本,这是基于基座模型进行指令微调得到的。相比较v0.2版本,其主要改进包括三个:

  • 词汇表从32000扩展到32768
  • 支持v3的tokenizer
  • 支持函数调用

从上述改进看,这个版本最大的优化是对函数调用的支持。说明了模型训练过程中应该加入了类似语料,或者是微调阶段使用了相关的数据集。Mistral-7B一直是70亿参数规模大模型中非常优秀的版本。此次v0.3版本支持函数调用更是将70亿参数规模模型往前推动了一大把。

欢迎大家关注DataLearner官方微信,接受最新的AI模型和技术推送