ChatGPT的前世今生，以及未来(13)

从本质上来说，GPT-2就是一个简单的统计语言模型。 从机器学习的角度，语言模型是对词语序列的概率分布的建模，即利用已经说过的片段作为条件预测下一个时刻不同词语出现的概率分布。语言模型一方面可以衡量一个句子符合语言文法的程度（例如衡量人机对话系统自动产生的回复是否自然流畅），同时也可以用来预测生成新的句子。例如，对于一个片段“中午12点了，我们一起去餐厅”，语言模型可以预测“餐厅”后面可能出现的词语。一般的语言模型会预测下一个词语是“吃饭”，强大的语言模型能够捕捉时间信息并且预测产生符合语境的词语“吃午饭”。
通常，一个语言模型是否强大主要取决于两点：首先看该模型是否能够利用所有的历史上下文信息， 上述例子中如果无法捕捉“中午12点”这个远距离的语义信息，语言模型几乎无法预测下一个词语“吃午饭”。其次，还要看是否有足够丰富的历史上下文可供模型学习，也就是说训练语料是否足够丰富 。由于语言模型属于无监督学习，优化目标是最大化所见文本的语言模型概率，因此任何文本无需标注即可作为训练数据。
GPT-2表明随着模型容量和数据量的增大，其潜能还有进一步开发的空间，但需要继续投资才能挖掘潜力。
由于GPT-2的的性能和生成文本能力获得了很高赞誉，OpenAI又扳回一局。
2019年3月，OpenAI 重组
因为 GPT 系列模型的成功，OpenAI 决定再融资几十亿美元来发展AI，因为模型越大、参数越多、训练AI模型需要的钱也越多，一年花个几千万美元来计算是刚性开支。而且，人工智能研究人员的薪水也不便宜，税务记录显示，首席科学家 Ilya Sutskever 在实验室的头几年，年薪为 190 万美元。搞AI太费钱了！
其实，早在2017 年 3 月，OpenAI 内部就意识到了这个问题：保持非营利性质无法维持组织的正常运营。因为一旦进行科研研究，要取得突破，所需要消耗的计算资源每 3～4 个月要翻一倍，这就要求在资金上对这种指数增长进行匹配，而 OpenAI 当时的非盈利性质限制也很明显，还远远没达到自我造血的程度。
Altman在 2019 年对《连线》杂志表示：“我们要成功完成任务所需的资金比我最初想象的要多得多。”
烧钱的问题同期也在 DeepMind 身上得到验证。在当年被谷歌收购以后，DeepMind 短期内并没有为谷歌带来盈利，反而每年要烧掉谷歌几亿美元，2018 年的亏损就高达 4.7 亿英镑， 2017 年亏损为 2.8 亿英镑，2016 年亏损为 1.27 亿英镑，烧钱的速度每年大幅增加。好在 DeepMind 有谷歌这棵大树可靠，谷歌可以持续输血。