ChatGPT的前世今生，以及未来(7)

Universe游戏环境，用于人类模拟器
虽然在创立后，OpenAI一直在推出技术产品，看起来也有不错的成绩，但跟谷歌没法比。在那段时间，谷歌的成绩才是真正辉煌。
2016年3月9日，AlphaGo与围棋冠军李世石围棋大战，最终以4:1胜出。一年之后，新版的AlphaGo又以3:0战胜了围棋冠军柯洁。之后发布的AlphaZero更是让人惊叹，它在三天内自学了三种不同的棋类游戏，包括国际象棋、围棋和日本将军棋，而且无需人工干预。这是一种人类从未见过的智慧。
这些成果好像验证了2015年，大家在聚会上的判断，谷歌很可能在人工智能领域的形成垄断地位。确实，从AlphaGo的成功来看，谷歌已经牢牢占住了人工智能的高地，无人可以撼动。谷歌还收购了十几家AI公司，投入的资金和资源巨大，成果斐然。
2016年4月，谷歌著名的深度学习框架TensorFlow发布分布式版本；8月，Google发布基于深度学习的NLU框架SyntaxNet；9月，Google上线基于深度学习的机器翻译。
而且，谷歌的 CEO 桑德·皮查伊(Sundar Pichai) 在 2016 年 5 月宣布将公司从“移动为先”的策略转变成“人工智能为先”（AI First）。并计划在公司的每一个产品上都应用机器学习的算法。也就是说，谷歌已经开始把人工智能技术变成了自己的业务优势，去赚钱或者省钱了。
看起来，OpenAI 离战胜谷歌的预期目标还很远。2017年开始，一些人工智能大牛离开了OpenAI，如Ian Goodfellow 和 Pieter Abbeel 等。
3
OpenAI的前途在哪里呢？
没想到，OpenAI 决定与谷歌硬碰硬。竟然在谷歌开创的道路上，取得了震惊业内的突破，持续推出了GPT系列模型，并迅速拓展到多个富有前景的商业领域，力压谷歌一头。
顺便说一下，谷歌的高歌猛进让微软也很焦虑。微软虽然也有一些不错的人工智能产品，比如语音识别，小冰聊天机器人等，但是还不成体系。
下面我们看看ChatGPT的成长史，了解它是如何在人工智能技术的竞赛中胜出的？
2017年6月，6500万参数的 Transformer
2017年6月，谷歌大脑团队（Google Brain）在神经信息处理系统大会（NeurIPS，该会议为机器学习与人工智能领域的顶级学术会议）发表了一篇名为“Attention is all you need”《自我注意力是你所需要的全部》的论文。作者在文中首次提出了基于自我注意力机制（self-attention）的变换器（transformer）模型，并首次将其用于理解人类的语言，即自然语言处理。