摘要

我们介绍了一个新的语言表达模型叫做 BERT （Bidirectional-Encoder-Representations from Transformers）.和最近出现的语言表达模型不同， Bert是基于前后上下文来预训练深度双向表达未标注文本的。所以说，预训练BERT模型可以通过只增加一个输出层来调优以便得到适用于各种任务的最佳模型。

BERT is conceptually simple and empirically powerful. 从理论和实践上来讲，BERT很强大。他得到了新的GLUE高分。