Turing Natural Language Generation 简介

T-NLG是一种基于Transformer的生成式语言模型，它可以生成单词以完成开放式文本任务。除了完成未完成的句子，它还可以生成直接回答问题和输入文档摘要。

生成式模型如T-NLG在NLP任务中非常重要，因为我们的目标是在任何情况下像人类一样直接、准确和流畅地回答。以前，问答和摘要系统依靠从文档中提取已有内容，作为替代答案或摘要，但它们经常显得不自然或不连贯。有了T-NLG，我们可以自然地摘要或回答有关个人文档或电子邮件线程的问题。

我们观察到，模型越大、预训练数据越多样化和全面，它在泛化到多个下游任务时表现越好，即使有更少的训练示例。因此，我们认为训练一个大型集中的多任务模型并共享其能力跨多个任务比为每个任务单独训练一个新模型更有效率。