ChatGPT的前世今生，以及未来(12)

GPT 学会了猜测句子中的下一组单词。BERT学会了猜测句子中任何地方缺少的单词。如果你给BERT几千个问题和答案，它可以学会自己回答其他类似的问题。BERT也可以进行对话。
从阅读理解方面来看，BERT模型的提升是很大的。在当时的SQuAD竞赛排行榜上，排在前列的都是BERT模型，基本上，阅读理解领域已经被BERT屠榜了。
谷歌的BERT模型完胜。
2019年2月，15亿参数的GPT-2
2019年2月，OpenAI推出了GPT-2，同时，他们发表了介绍这个模型的论文“Language Models are Unsupervised Multitask Learners” （语言模型是无监督的多任务学习者）。
相比于大哥GPT-1，GPT-2并没有对原有的网络进行过多的结构创新与设计，只使用了更多的网络参数与更大的数据集：最大模型共计48层，参数量达15亿。

GPT-2用于训练的数据取自于Reddit上高赞的文章，命名为WebText。数据集共有约800万篇文章，累计体积约40G。为了避免和测试集的冲突，WebText移除了涉及Wikipedia的文章。
GPT-2 模型是开源的，主要目的是为给定句子生成下一个文本序列。
假如给定一两个句子的文本提示，GPT-2 就能生成一个完整的叙述。对一些语言任务，如阅读、摘要和翻译，可以通过 GPT-2 学习原始文本，而不需要使用特定领域的训练数据。
在性能方面，除了理解能力外，GPT-2 在文本内容生成方面表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演等，通通不在话下。在“变得更大”之后，GPT-2 的确展现出了普适而强大的能力，并在多个特定的语言建模任务上实现了那时的最佳性能。
GPT-2的最大贡献是验证了通过海量数据和大量参数训练出来的词向量模型可迁移到其它类别任务中，而不需要额外的训练。