Generative Language Mode 简介

OpenAI的GPT模型是由Alec Radford、Karthik Narasimhan、Tim Salimans和Ilya Sutskever在Improving Language Understanding by Generative Pre-Training中提出。它是一个因果（单向）transformer，基于多伦多书库语料训练。

自然语言理解包括一系列不同的任务，如文本相关性、问题回答、语义相似性评估和文档分类。虽然大量的无标签文本语料库很丰富，但用于学习这些特定任务的有标签的数据却很少，这使得经过判别训练的模型很难有充分的表现。我们证明，通过在不同的无标签文本语料库上对语言模型进行生成性预训练，然后在每个具体任务上进行鉴别性微调，可以在这些任务上取得巨大的收益。与以前的方法相比，我们在微调过程中利用了任务意识的输入转换来实现有效的转移，同时要求对模型结构进行最小的改变。我们在广泛的自然语言理解基准上证明了我们方法的有效性。我们的一般任务诊断模型优于使用专门为每个任务设计的架构的辨别性训练模型，在所研究的12个任务中，有9个任务的技术水平得到了显著提高。例如，我们在常识推理（Stories Cloze Test）方面取得了8.9%的绝对改进，在问题回答（RACE）方面取得了5.7%的绝对改进，在文本关联（MultiNLI）方面取得了1.5%的改进。

训练所使用的语料： https://www.cs.rochester.edu/nlp/rocstories/ 

GPT官方介绍博客： https://openai.com/blog/language-unsupervised/ 

Hugging ace介绍页面： https://huggingface.co/docs/transformers/model_doc/openai-gpt