GPT-3
基础大模型Generative Pre-trained Transformer 3
发布时间: 2020-05-28 27
模型参数（Parameters）
1750.0
最高上下文长度（Context Length）
2K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2020-05-28
模型预文件大小
暂无数据
开源和体验地址
官方介绍与博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
GPT-3模型在各大评测榜单的评分
发布机构
OpenAI
查看发布机构详情
模型介绍
GPT-3是OpenAI发布的迄今为止最强大的大语言预训练模型之一。GPT-3是OpenAI的第三代自回归语言模型。相比较GPT-2，GPT-3模型参数大了2个量级，达到了1750个参数。
由于GPT-3太过强大，OpenAI认为可能会出现利用这个模型实施各种“不好”的事情行为。因此他们并没有公开这个模型，这也与他们建立之初作为一个非盈利的开放AI研究机构相违背。起初，这种行为遭到了大量的批评。但是，现在发现这个模型的确可能会导致很多坏事情，而且各大企业也都不再开放这种模型，因此，批评声音逐渐减弱了。
GPT-3模型的训练来自大量的互联网无标注数据。根据维基百科的介绍，其权重占比如下：
| 数据集 | token数量 | 训练mix的权重 |
|---|---|---|
| Common Crawl | 4100亿 | 60% |
| WebText2 | 190亿 | 22% |
| Books1 | 120亿 | 8% |
| Books2 | 550亿 | 8% |
| Wikipedia | 30亿 | 3% |
由于GPT-3的训练数据包罗万象，它不需要进一步训练不同的语言任务。
GPT-3模型本身可以做很多事情，OpenAI也基于这个模型在不同领域做了微调，产生了很多领域内的应用，包括代码生成、图像生成等。
Foundation Model
GPT
View Details关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
