OPT
基础大模型Open Pre-trained Transformer
发布时间: 2022-05-02
模型基本信息
最高上下文输入长度
2K tokens
最长输出结果
模型类型
基础大模型
发布时间
2022-05-02
模型预文件大小
85GB
开源和体验地址
官方介绍与博客
API接口信息
接口速度
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
OPT模型在各大评测榜单的评分
发布机构
模型介绍
OPT支持中文！
OPT全称是Open Pre-trained Transformers，是由MetaAI研究人员发布的一个开放式大语言预训练模型，是一组自然语言（NLP）模型，基于互联网上几十亿token文本训练的。近年来，尽管大语言模型展示出强大的能力，但是由于训练成本高昂，导致大部分研究人员都无法负担，阻碍了学术的交流与研究。同时，由于各大企业的商业目的，他们发布的大语言预训练模型也都无法完整访问模型权重，只能通过API获取少量的结果。据此，MetaAI研究人员提出了OPT，这个模型参数范围包含1.25亿到1750亿多个版本，除了1750亿的版本需要填写申请获取外，其它预训练结果文件都完全开放下载，可以免费获得。实验表明OPT的能力与GPT-3相当，但是整个开发训练过程的碳成本却只有其1/7。Meta AI发布OPT的主要目标就是为了促进大语言模型可以被相关人员充分获取并负责人的共享。
当前，OPT预训练结果文件都是可以免费访问和下载，主要的下载地址如下：
| 模型名称 | 参数大小 | 权重文件下载地址 - 文件大小 |
|---|---|---|
| OPT-125M | 1.25亿 | part0 - 121MB part1 - 121MB |
| OPT-350M | 3.5亿 | part0 - 681MB |
| OPT-1.3B | 13亿 | part0 - 1.2GB part1 - 1.2GB |
| OPT-2.7B | 27亿 | part0 - 1.2GB part1 - 1.2GB part2 - 1.2GB part3 - 1.2GB |
| OPT-6.7B | 67亿 | part0 - 6.2GB part1 - 6.2GB |
| OPT-13B | 130亿 | part0 - 12GB part1 - 12GB |
| OPT-30B | 300亿 | part0 - 27.9GB part1 - 27.9GB |
| OPT-66B | 660亿 | part0 - 15.3GB part1 - 15.3GB part2 - 15.3GB part3 - 15.3GB part4 - 15.3GB part5 - 15.3GB part6 - 15.3GB part7 - 15.3GB |
| OPT-175B | 1750亿 | 需要申请，申请地址： 点击申请 |
OPT使用的是互联网上多个开放数据集，具体描述在论文的附录C中有描述，总结下来包括：
BookCorpus： https://www.datalearner.com/ai-dataset/book-corpus
CC-Stories： https://www.datalearner.com/ai-dataset/cc-stories
Pile数据集
Pushshift.io的Reddit数据集
CCNewsV2数据集
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
