ChatGPT的前世今生，以及未来(11)

前面说过，GPT-1 适配的下游任务有自然语言推断 NLI（natural language inference），问答QA（question answer），语义匹配（semantic similarity），文本分类（text classification）。
下游任务适配的过程分两步：1、根据任务定义不同输入，2、对不同任务增加不同的分类层。
具体定义可以参见下图：

随着训练次数的增加，GPT-1的性能也逐渐提升，表明GPT-1有非常强的泛化能力，能够用到和有监督任务无关的其它NLP任务中。对于下游任务的训练，GPT-1往往只需要简单的微调便能取得非常好的效果。
GPT-1在未经微调的任务上虽然也有一定效果，但是其泛化能力远远低于经过微调的有监督任务，说明了GPT-1只是一个简单的领域专家，而非通用的语言学家。
不管怎样，GPT-1 赢过了 Transformer，成为了业界的新标杆。OpenAI赢得漂亮！
2018年10月，3亿参数的BERT
2018年10月，谷歌提出3亿参数的BERT（Bidirectional Encoder Representation from Transformers），“来自Transformers的双向编码表示”模型。
BERT在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩: 全部两个衡量指标上全面超越人类，并且在11种不同NLP测试中创出SOTA表现，包括将GLUE基准推高至80.4% (绝对改进7.6%)，MultiNLI准确度达到86.7% (绝对改进5.6%)，成为NLP发展史上的里程碑式的模型。
据测试，在同等参数规模下，BERT的效果好于GPT-1，因为它是双向模型，可以利用上下文来分析的。而GPT是单向模型，无法利用上下文信息，只能利用上文。