OPT
Open Pre-trained Transformer
模型参数
1750.0亿
上下文长度
2K
中文支持
不支持
推理能力
模型基本信息
推理过程
不支持
上下文长度
2K tokens
最大输出长度
暂无数据
模型类型
暂无数据
发布时间
2022-05-02
模型文件大小
85GB
MoE架构
否
总参数 / 激活参数
1750.0 亿 / 不涉及
知识截止
暂无数据
推理模式
暂无模式数据
开源和体验地址
代码开源状态
预训练权重开源
开源不可商用- 不可以商用
在线体验
暂无在线体验地址
官方介绍与博客
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
暂无公开的 API 定价信息。
评测得分
当前尚无可展示的评测数据。
发布机构
Facebook AI研究实验室
查看发布机构详情 模型解读
OPT支持中文！
OPT全称是Open Pre-trained Transformers，是由MetaAI研究人员发布的一个开放式大语言预训练模型，是一组自然语言（NLP）模型，基于互联网上几十亿token文本训练的。近年来，尽管大语言模型展示出强大的能力，但是由于训练成本高昂，导致大部分研究人员都无法负担，阻碍了学术的交流与研究。同时，由于各大企业的商业目的，他们发布的大语言预训练模型也都无法完整访问模型权重，只能通过API获取少量的结果。据此，MetaAI研究人员提出了OPT，这个模型参数范围包含1.25亿到1750亿多个版本，除了1750亿的版本需要填写申请获取外，其它预训练结果文件都完全开放下载，可以免费获得。实验表明OPT的能力与GPT-3相当，但是整个开发训练过程的碳成本却只有其1/7。Meta AI发布OPT的主要目标就是为了促进大语言模型可以被相关人员充分获取并负责人的共享。
当前，OPT预训练结果文件都是可以免费访问和下载，主要的下载地址如下：
| 模型名称 | 参数大小 | 权重文件下载地址 - 文件大小 |
|---|---|---|
| OPT-125M | 1.25亿 | part0 - 121MB part1 - 121MB |
| OPT-350M | 3.5亿 | part0 - 681MB |
| OPT-1.3B | 13亿 | part0 - 1.2GB part1 - 1.2GB |
| OPT-2.7B | 27亿 | part0 - 1.2GB part1 - 1.2GB part2 - 1.2GB part3 - 1.2GB |
| OPT-6.7B | 67亿 | part0 - 6.2GB part1 - 6.2GB |
| OPT-13B | 130亿 | part0 - 12GB part1 - 12GB |
| OPT-30B | 300亿 | part0 - 27.9GB part1 - 27.9GB |
| OPT-66B | 660亿 | part0 - 15.3GB part1 - 15.3GB part2 - 15.3GB part3 - 15.3GB part4 - 15.3GB part5 - 15.3GB part6 - 15.3GB part7 - 15.3GB |
| OPT-175B | 1750亿 | 需要申请，申请地址： 点击申请 |
OPT使用的是互联网上多个开放数据集，具体描述在论文的附录C中有描述，总结下来包括：
BookCorpus： https://www.datalearner.com/ai-dataset/book-corpus
CC-Stories： https://www.datalearner.com/ai-dataset/cc-stories
Pile数据集
Pushshift.io的Reddit数据集
CCNewsV2数据集
DataLearner 官方微信
欢迎关注 DataLearner 官方微信，获得最新 AI 技术推送
