BERT

BERT 预训练模型详情

模型全称

Bidirectional Encoder Representations from Transformers

发布组织

Google

模型大小

1.3GB

类型

自然语言处理

发布论文

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

模型简介

我们引入了一个新的语言表征模型,叫做BERT,它代表了来自变形器的双向编码器表征。与最近的语言表征模型不同,BERT被设计为通过在所有层中共同调节左右语境,从未标记的文本中预训练深度双向表征。因此,只需增加一个输出层就可以对预训练的BERT模型进行微调,从而为广泛的任务(如问题回答和语言推理)创建最先进的模型,而无需对具体任务的架构进行大量修改。 BERT在概念上是简单的,在经验上是强大的。它在11项自然语言处理任务上获得了新的最先进的结果,包括将GLUE得分推到80.5%(7.7%的绝对改进),MultiNLI准确率达到86.7%(4.6%的绝对改进),SQuAD v1.1问题回答测试F1达到93.2(1.5的绝对改进)和SQuAD v2.0测试F1达到83.1(5.1的绝对改进)。