LongForm LLaMA 7B
LongForm LLaMA 7B 是由 个人 发布的 AI 模型，发布时间为 2023-04-26，定位为 基础大模型，参数规模约为 70亿，上下文长度为 2K，模型文件大小约 28GB。
数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法
模型基本信息
开源和体验地址
官方介绍与博客
API接口信息
评测结果
和其他模型对比
暂时没有为该模型整理的相关对比页面。
想自定义其他组合？打开对比工具
发布机构
模型解读
LongForm LLaMA 7B是慕尼黑大学研究人员基于LongForm数据集微调LLaMA模型的预训练大模型。LongForm是一系列指令微调数据集，包含27739条记录。这是通过使用LLM从数据集中生成指令后得到的指令微调数据集。是一种低成本高质量的指令微调数据集获取方法。
LongForm LLaMA 7B就是利用上述数据集，用LLaMA微调得到的。但是，由于LLaMA模型协议的限制，研究人员无法直接发布基于LLaMA微调的任何结果。因此，他们发布了一个diff模型：LongForm-LLaMA-7B-diff。
LongForm-LLaMA-7B-diff是一个预训练结果，但是这个预训练结果是LongForm-LLaMA-7B与原始LLaMA-7B模型的差异结果。也就是说不包含原始LLaMA的任意部分。这也是规避MetaAI模型开源限制的方法。使用的时候，需要先从MetaAI那里获取原始的LLaMA模型，然后再加载这个LongForm-LLaMA-7B-diff模型，将二者合并之后得到真正的LongForm LLaMA 7B模型后才能使用。
根据官方的测试，基于LongForm数据集微调的模型效果非常好：
| 模型名称 | 平均得分得分 | 菜谱生成得分 | ELI5得分 | Prompts撰写得分 |
|---|---|---|---|---|
| T0++ | 10.9 | 18.7 | 3.8 | 10.2 |
| Tk-Instruct | 6.3 | 12.9* | 3.6 | 2.4 |
| Flan-T5 | 10.6 | 20.9* | 3.5 | 7.4 |
| Alpaca-LLaMA-7B | 14.6 | 19.5 | 12.5 | 11.8 |
| OPT-30B | 11.1 | 18.6 | 12.2 | 2.6 |
| LongForm-T5-XL | 16.3 | 20.2 | 18.3 | 10.6 |
| LongForm-OPT-2.7B | 17.8 | 15.5 | 17.9 | 19.9 |
| LongForm-OPT-6.7B | 17.7 | 16.9 | 17.2 | 19.0 |
| LongForm-LLaMA-7B | 19.7 | 21.7 | 18.6 | 18.9 |
基础模型
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
