ChatGPT的前世今生，以及未来(9)

Transformer模型自诞生的那一刻起，就深刻地影响了接下来几年人工智能领域的发展轨迹。
因为谷歌大脑团队在论文中提供了模型的架构，任何人都可以用其搭建类似架构的模型来并结合自己手上的数据进行训练。
于是，Transformer就像其另一个霸气的名字“变形金刚”一样，被更多人研究，并不断地变化。
短短的几年里，该模型的影响已经遍布人工智能的各个领域——从各种各样的自然语言模型、到预测蛋白质结构的AlphaFold2模型，用的都是它。

2018年6月，1.17亿参数的GPT-1
GPT的问世，是AI进化的另一个伟大的里程碑。
之前的神经网络模型是有监督学习的模型，存在两个缺点：
需要大量的标注数据，高质量的标注数据往往很难获得，因为在很多任务中，图像的标签并不是唯一的或者实例标签并不存在明确的边界；
根据一个任务训练的模型很难泛化到其它任务中，这个模型只能叫做“领域专家”而不是真正的理解了NLP。
假如能用无标注数据训练一个预训练模型，就能省时省力省钱。
GPT-1的思想是先通过在无标签的数据上学习一个生成式的语言模型，然后再根据特定任务进行微调，处理的有监督任务包括：
自然语言推理：判断两个句子是关系（包含、矛盾、中立）；
问答和常识推理：类似于多选题，输入一个文章，一个问题以及若干个候选答案，输出为每个答案的预测概率；
语义相似度：判断两个句子是否语义上市是相关的；