Orion-14B-Chat

Orion-14B-Base是猎豹移动投资的企业猎户星座开源的一个大语言模型。该模型主要特点如下：

基于2.5万亿tokens数据集预训练得到；

在200亿参数规模的大模型中表现优异；

支持多语言，包括中文、英文、韩文和日语；

在200K上下文下表现很好，最高支持320K上下文输入长度；

量化版本模型大小减少70%，推理速度提升30%，但是性能损失不到1%；

Orion-14B模型评测结果

官方公布了Orion-14B模型的评测结果，非常优秀：

按照这个MMLU得分69.9估计的话，与GPT-3.5和Mistral-7B-MoE接近。Mixtral-8×7B-MoE是专家混合模型，参考： https://www.datalearner.com/ai-models/pretrained-models/Mistral-7B-MoE 

应该说这个分数很优异了。

更重要的是，Orion-14B模型在多语言上表现也很好：

从这个对比看，汉语和日语表现不输中文

Orion-14B模型版本

Orion-14B官方共发布了7个版本：

Orion-14B模型开源情况

Orion-14B模型的代码均是Apache2.0开源协议，完全免费商用，预训练结果可以免费商用，但是需要取得书面授权需求可。