Mi

Mistral 7B

基础大模型

Mistral 7B

发布时间: 2023-09-27

模型参数(Parameters)
73.0
最高上下文长度(Context Length)
8K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

8K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2023-09-27

模型预文件大小

15GB

开源和体验地址

代码开源状态
预训练权重开源
Apache 2.0 - 免费商用授权
GitHub 源码
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

Mistral 7B模型在各大评测榜单的评分

发布机构

模型介绍

模型简介与特点

Mistral 7B 是 Mistral AI 公司推出的一款具有 73 亿参数的模型,它在多项基准测试中展现了优异的性能。该模型能够在诸如常识推理、世界知识、阅读理解、数学、编码等多个领域上与其他大型模型相媲美甚至超越。它采用了 Grouped-query attention (GQA) 和 Sliding Window Attention (SWA) 技术,不仅能快速进行推断,还能以较低的成本处理长序列。更值得一提的是,Mistral 7B 是在 Apache 2.0 许可下发布的,这意味着任何人都可以无限制地使用它​1​。

模型训练细节

虽然 Mistral 7B 的官方发布通知并没有详细披露模型的训练细节,但通过它的结构和性能我们可以推断,其训练过程很可能涉及了大量的数据和计算资源。模型的 Sliding Window Attention (SWA) 机制以及对不同任务的微调展现了其在多种情景下的适应性和灵活性。

模型评测结果

Mistral 7B 在多项基准测试中表现出色,例如在常识推理、世界知识和阅读理解等领域,其性能与参数量更大的 Llama 2 模型相当,甚至在某些任务上超越了 Llama 1 34B。在编码和推理基准测试上,Mistral 7B 的表现尤为突出,接近于 CodeLlama 7B 的性能,同时在英语任务上保持了良好的性能​1​。


模型开源

Mistral 7B采用Apache 2.0的开源协议,完全可以免费商用。同时,该模型可以在不同的云平台(如 AWS、GCP 和 Azure)上部署,并且在 HuggingFace 平台上也得到了支持。


技术名称描述
Grouped-query Attention (GQA)通过将查询分组来加速推断过程,提高了模型的效率。
Sliding Window Attention (SWA)使模型能够处理较长的序列,而且在每个层次上只关注前 4,096 个隐藏状态,降低了计算成本。
Fine-tuningMistral 7B可以容易地针对特定任务进行微调,如聊天任务微调展现了优异的性能。
Open Source License (Apache 2.0)该模型在 Apache 2.0 许可下发布,可以无限制地使用,包括本地使用或者在 AWS、GCP、Azure 云平台上部署。
Performance BenchmarkingMistral 7B与其他大型模型(如 Llama 2和 CodeLlama 7B)进行了广泛的基准测试比较,展现了在多个任务和领域上的优异性能。


关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat