Baidu-ERNIE

Baidu-ERNIE 预训练模型详情

模型全称

Enhanced Representation through kNowledge IntEgration

发布组织

Baidu

模型大小

类型

自然语言处理

发布论文

ERNIE: Enhanced Representation through Knowledge Integration

模型简介

我们提出了一种新型的由知识增强的语言表征模型,称为ERNIE(通过知识整合增强表征)。受BERT屏蔽策略的启发,ERNIE被设计成通过知识屏蔽策略来学习语言表征,包括实体级屏蔽和短语级屏蔽。实体级策略掩盖了通常由多个词组成的实体。短语级策略掩盖了由几个词组成的整个短语,作为一个概念单位。实验结果表明,ERNIE优于其他基线方法,在五个中文自然语言处理任务中取得了新的最先进的结果,包括自然语言推理、语义相似性、命名实体识别、情感分析和问题回答。我们还证明ERNIE在cloze测试中具有更强大的知识推理能力。