RedPajama INCITE 7B V0.1
RedPajama INCITE 7B V0.1 是由 TOGETHER 发布的 AI 模型，发布时间为 2023-05-05，定位为 基础大模型，参数规模约为 70.0B，上下文长度为 2K，模型文件大小约 13.8GB。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
RedPajama INCITE 7B是TOGETHER发布的一系列语言模型中的一类，与RedPajama INCITE 3B同一天发布。不过参数规模70亿。
RedPajama INCITE 3B模型信息卡： https://www.datalearner.com/ai-models/pretrained-models/RedPajama-INCITE-3B
与RedPajama INCITE 3B系列模型类似，RedPajama INCITE 7B也包含3个版本：
| 模型名称 | 模型类型 | 参数大小（亿） |
|---|---|---|
| RedPajama-INCITE-Base-7B-v0.1 | 语言模型 | 70 |
| RedPajama-INCITE-Chat-7B-v0.1 | Chat微调 | 70 |
| RedPajama-INCITE-Instruct-7B-v0.1 | 指令微调 | 70 |
这三个版本的差异：
RedPajama-INCITE-Base-7B-v0.1：70亿规模的基础版本语言模型
RedPajama-INCITE-Chat-7B-v0.1：基于Chat数据集微调
RedPajama-INCITE-Instruct-7B-v0.1：基于指令数据微调
不过可以看到，本次模型的版本是v0.1，与3B模型的v1差异就是7B系列模型仍然在训练中，目前已经达到8000亿tokens的训练。由于TOGETHER官方看到训练损失仍在持续下降。因此，他们将继续训练，直到达到1万亿tokens。尽管如此，这个预训练结果非常有用，并且可以帮助社区更好地理解训练过程。因此，官方发布了三个中间检查点作为最终模型的“预览”。
这些checkpoints都是根据Apache 2.0许可证发布的。即使在8000亿个tokens训练上，已经看到了令人兴奋的结果。在HELM上，基础模型的表现优于GPT-J和Pythia-6.9B等开放模型0.5-2.2个点，而在EleutherAI的lm-evaluation-harness上，它平均优于这些模型1-3个点。
此外，与LLaMA 7B相比，仍存在质量差距 - 目前在HELM上为4.3个点。对于少样本应用（例如HELM中的应用），调整指令的模型（RedPajama-INCITE-Instruct-7B-v0.1）在基础模型上有显着改进。官方希望在进行更多迭代训练后，一些差距可以被缩小。
Few-Shot得分结果：
| 模型 | Type | HELM (16个核心场景平均得分) |
|---|---|---|
| GPT-J | Base model | 0.417 |
| Pythia-6.9B | Base model | 0.400 |
| Llama-7B | Base model | 0.465 |
| RedPajama-INCITE-Base-7B-v0.1 | Base model | 0.422 |
| RedPajama-INCITE-Instruct-7B-v0.1 | Instruction-tuned | 0.499 |
Zero-shot得分结果：
| 模型 | Lambada_openai (acc) | Hellaswag (acc_norm) | Winogrande (acc) | Piqa (acc) | average |
|---|---|---|---|---|---|
| GPT-J | 0.6699 | 0.6663 | 0.6503 | 0.7565 | 0.6857 |
| Pythia-6.9B | 0.6712 | 0.6389 | 0.6069 | 0.7519 | 0.6672 |
| Pythia-6.9B-dedup | 0.6893 | 0.6588 | 0.6266 | 0.7578 | 0.6831 |
| Llama-7B | 0.7360* | 0.7620* | 0.7040 | 0.7810 | 0.7457 |
| RedPajama-INCITE-Base-7B-v0.1 | 0.7061 | 0.6951 | 0.6519 | 0.7611 | 0.7035 |
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
