模型详细情况和参数
Mistral 7B 是 Mistral AI 公司推出的一款具有 73 亿参数的模型,它在多项基准测试中展现了优异的性能。
这里的Mistral 7B Instruct是基于Mistral 7B进行指令微调得到的大模型。在聊天方面更加擅长!
该模型能够在诸如常识推理、世界知识、阅读理解、数学、编码等多个领域上与其他大型模型相媲美甚至超越。它采用了 Grouped-query attention (GQA) 和 Sliding Window Attention (SWA) 技术,不仅能快速进行推断,还能以较低的成本处理长序列。更值得一提的是,Mistral 7B 是在 Apache 2.0 许可下发布的,这意味着任何人都可以无限制地使用它。