DataLearner 标志
LO

LongForm OPT

基础大模型LongForm

LongForm Open Pre-trained Transformer

发布时间: 2023-04-17更新于: 2023-05-24浏览量: 526
在线体验GitHubHugging Face对比
模型参数
67亿
上下文长度
2K
多语言支持
暂无数据
推理能力
暂无数据

LongForm Open Pre-trained Transformer 是由 个人 发布的 AI 模型，发布时间为 2023-04-17，定位为 基础大模型，参数规模约为 67亿，上下文长度为 2K，模型文件大小约 13.3GB。

数据优先来自官方发布（GitHub、Hugging Face、论文），其次为评测基准官方结果，最后为第三方评测机构数据。 了解数据收集方法

LongForm OPT

模型基本信息

推理过程
暂无数据
思考模式
不支持思考模式
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
基础大模型
输入/输出模态
暂无数据
发布时间
2023-04-17
模型文件大小
13.3GB
MoE架构
否
总参数 / 激活参数
67亿 / 不适用
知识截止
暂无数据
LongForm OPT

开源和体验地址

代码开源状态
暂无数据
预训练权重开源
暂无数据
GitHub 源码
github.com/akoksal/LongForm
Hugging Face
huggingface.co/akoksal/LongForm-OPT-6.7B
在线体验
暂无
LongForm OPT

官方介绍与博客

LongForm OPT

API接口信息

接口速度
暂无数据
暂无公开的 API 定价信息。
LongForm OPT

发布机构

LongForm Open Pre-trained Transformer

模型解读

LongForm OPT是由慕尼黑大学研究人员开放的一系列基于OPT微调的大预言模型。这个系列的模型是基于他们提出的LongForm数据集对OPT模型微调得到的。其中OPT模型是指MetaAI开源的1750亿参数规模的大预言模型： https://www.datalearner.com/ai-models/pretrained-models/OPT 

LongForm数据集是一个指令微调数据集。研究人员使用大语言模型（Large Language Models，LLM）从现有的语料数据集，如C4、维基百科等中的文章提取指令，来生成大量的指令微调数据集。这种方法可以以较低的成本获取干净的指令微调数据集。再基于这些数据集微调T5、OPT和LLaMA模型，就可以提升这些模型的生成质量，并可以用来生成长文本。

最终，LongForm数据集的结果如下：

数据集类型来源样本数据量
CorporaC410000
CorporaWikipedia5000
Structured CorporaStack Exchange4380
Structured CorporaWikiHow2500
TasksNIv23684
TasksBig Bench600
TasksBEA-GEC1203
TasksEnron372
总计27739

目前，LongForm-OPT系列包含4个模型：

LongForm-OPT模型名称参数大小HuggingFace资源链接
LongForm-OPT-6.7B67亿 https://huggingface.co/akoksal/LongForm-OPT-6.7B 
LongForm-OPT-1.3B13亿 https://huggingface.co/akoksal/LongForm-OPT-1.3B 
LongForm-OPT-350M3.5亿 https://huggingface.co/akoksal/LongForm-OPT-350M 
LongForm-OPT-125M1.25亿 https://huggingface.co/akoksal/LongForm-OPT-125M 

LongForm-OPT系列模型本身是开源的，使用MIT开源协议，但是OPT本身的协议是MetaAI的模型协议，不支持商用。

DataLearner 官方微信

欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送

DataLearner 官方微信二维码