Tsinghua-ERNIE

Tsinghua-ERNIE 预训练模型详情

模型全称

Enhanced Language Representation with Informative Entities

发布组织

模型大小

类型

自然语言处理

发布论文

ERNIE: Enhanced Language Representation with Informative Entities

模型简介

在大规模语料库上预训练的神经语言表示模型,如BERT,可以很好地从纯文本中捕获丰富的语义模式,并进行微调,以不断提高各种NLP任务的性能。然而,现有的预训练语言模型很少考虑纳入知识图谱(KGs),它可以为更好的语言理解提供丰富的结构化知识事实。我们认为,KGs中的信息实体可以用外部知识增强语言表示。在本文中,我们利用大规模的文本语料库和KGs来训练一个增强的语言表征模型(ERNIE),它可以同时充分利用词法、句法和知识信息。实验结果表明,ERNIE在各种知识驱动的任务上取得了明显的改进,同时在其他常见的NLP任务上与最先进的模型BERT相当。本文的源代码可以从这个https URL获得。