RedPajama INCITE 7B V0.1

RedPajama INCITE 7B是TOGETHER发布的一系列语言模型中的一类，与RedPajama INCITE 3B同一天发布。不过参数规模70亿。

RedPajama INCITE 3B模型信息卡： https://www.datalearner.com/ai-models/pretrained-models/RedPajama-INCITE-3B 

RedPajama INCITE 7B V0.1系列模型简介

与RedPajama INCITE 3B系列模型类似，RedPajama INCITE 7B也包含3个版本：

这三个版本的差异：

RedPajama-INCITE-Base-7B-v0.1：70亿规模的基础版本语言模型

RedPajama-INCITE-Chat-7B-v0.1：基于Chat数据集微调

RedPajama-INCITE-Instruct-7B-v0.1：基于指令数据微调

不过可以看到，本次模型的版本是v0.1，与3B模型的v1差异就是7B系列模型仍然在训练中，目前已经达到8000亿tokens的训练。由于TOGETHER官方看到训练损失仍在持续下降。因此，他们将继续训练，直到达到1万亿tokens。尽管如此，这个预训练结果非常有用，并且可以帮助社区更好地理解训练过程。因此，官方发布了三个中间检查点作为最终模型的“预览”。

RedPajama INCITE 7B V0.1系列模型评估结果

这些checkpoints都是根据Apache 2.0许可证发布的。即使在8000亿个tokens训练上，已经看到了令人兴奋的结果。在HELM上，基础模型的表现优于GPT-J和Pythia-6.9B等开放模型0.5-2.2个点，而在EleutherAI的lm-evaluation-harness上，它平均优于这些模型1-3个点。

此外，与LLaMA 7B相比，仍存在质量差距 - 目前在HELM上为4.3个点。对于少样本应用（例如HELM中的应用），调整指令的模型（RedPajama-INCITE-Instruct-7B-v0.1）在基础模型上有显着改进。官方希望在进行更多迭代训练后，一些差距可以被缩小。

Few-Shot得分结果：

Zero-shot得分结果：