ChatGPT的前世今生，以及未来(18)

2020年5月，OpenAI发布了GPT-3，这是一个比GPT-1和GPT-2强大得多的系统。同时发表了论文“Language Models are Few-Shot Learner”《小样本学习者的语言模型》。
GPT-3论文包含31个作者，整整72页论文，在一些NLP任务的数据集中使用少量样本的Few-shot方式甚至达到了最好效果，省去了模型微调，也省去了人工标注的成本。
GPT-3的神经网络是在超过45TB的文本上进行训练的，数据相当于整个维基百科英文版的160倍。而且，GPT-3有1750亿参数。
GPT-3作为一个无监督模型（现在经常被称为自监督模型），几乎可以完成自然语言处理的绝大部分任务 ，例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。
而且，该模型在诸多任务上表现卓越， 例如在法语-英语和德语-英语机器翻译任务上达到当前最佳水平。它非常擅长创造类似人类的单词、句子、段落甚至故事，输出的文字读起来非常自然，看起来就像是人写的。用户可以仅提供小样本的提示语、或者完全不提供提示而直接询问，就能获得符合要求的高质量答案。可以说GPT-3似乎已经满足了我们对于语言专家的一切想象。
GPT-3甚至还可以依据任务描述自动生成代码，比如编写SQL查询语句，React或者JavaScript代码等。
从上述工作的规模数据可以看到，GPT-3的训练工作量之大，模型输出能力之强可以说是空前的，可谓“大力出奇迹”。
当时，GPT-3 成为各种重要媒体杂志的头条新闻。2020年9月，英国《卫报》发表了GPT-3撰写的一篇文章，其中AI试图“说服我们机器人和平相处”。2021年3月，TechCrunch编辑Alex Wilhelm表示，在他对GPT-3的能力感到“震惊”后，“炒作似乎相当合理”。
由于 GPT-3模型面世时，未提供用户交互界面，所以直接体验过GPT-3模型的人数并不多。
早期测试结束后，OpenAI公司对GPT-3模型进行了商业化：付费用户可以通过应用程序接口（API）连上GPT-3，使用该模型完成所需语言任务。
许多公司决定在GPT-3 系统之上构建他们的服务。Viable是一家成立于2020年的初创公司，它使用GPT-3为公司提供快速的客户反馈。Fable Studio基于该系统设计VR角色。Algolia将其用作“搜索和发现平台”。而Copysmith专注于文案创作。