GP

GPT-1

基础大模型

Generative Language Mode

发布时间: 2018-06-11

模型参数(Parameters)
1.17
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

2K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2018-06-11

模型预文件大小

未知

开源和体验地址

代码开源状态
预训练权重开源
MIT License - 免费商用授权
GitHub 源码
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

GPT-1模型在各大评测榜单的评分

发布机构

模型介绍

OpenAI的GPT模型是由Alec Radford、Karthik Narasimhan、Tim Salimans和Ilya Sutskever在Improving Language Understanding by Generative Pre-Training中提出。它是一个因果(单向)transformer,基于多伦多书库语料训练。


自然语言理解包括一系列不同的任务,如文本相关性、问题回答、语义相似性评估和文档分类。虽然大量的无标签文本语料库很丰富,但用于学习这些特定任务的有标签的数据却很少,这使得经过判别训练的模型很难有充分的表现。我们证明,通过在不同的无标签文本语料库上对语言模型进行生成性预训练,然后在每个具体任务上进行鉴别性微调,可以在这些任务上取得巨大的收益。与以前的方法相比,我们在微调过程中利用了任务意识的输入转换来实现有效的转移,同时要求对模型结构进行最小的改变。我们在广泛的自然语言理解基准上证明了我们方法的有效性。我们的一般任务诊断模型优于使用专门为每个任务设计的架构的辨别性训练模型,在所研究的12个任务中,有9个任务的技术水平得到了显著提高。例如,我们在常识推理(Stories Cloze Test)方面取得了8.9%的绝对改进,在问题回答(RACE)方面取得了5.7%的绝对改进,在文本关联(MultiNLI)方面取得了1.5%的改进。


训练所使用的语料: https://www.cs.rochester.edu/nlp/rocstories/ 

GPT官方介绍博客: https://openai.com/blog/language-unsupervised/ 

Hugging ace介绍页面: https://huggingface.co/docs/transformers/model_doc/openai-gpt 

Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat