汪德嘉：区块链是开启人工智能大时代的关键变量

AI大模型时代或已走向终局，前路未知
2022年11月30日，人工智能公司OpenAI推出了 AI 聊天机器人ChatGPT，在短短两个月的时间里，活跃用户数突破一亿，成为史上用户数增长最快的消费级应用。ChatGPT成功背后是OpenAI训练的1750亿参数模型GPT-3。一时间AI大模型迅速成为时代焦点，微软百亿美元投资OpenAI，谷歌、特斯拉、百度、阿里、小米等国内外互联网巨头在几个月的时间内纷纷推出自己的AI大模型，OpenAI迅速迭代出GPT-4，几乎每个月都至少有一家科技大公司入局训练大模型，人工智能成为当前最炙手可热的赛道。
然而就在这样一个市场狂欢、科技巨头纷纷“走火入模”的时刻，AI大模型的领军者，OpenAI，却给市场浇了一盆冷水。2023年4月18日在麻省理工学院的活动中，OpenAI的CEO Sam Altman在演讲中警告称：“我们已经处在大模型时代的尾声”，并表示如今的AIGC发展中，将数据模型进一步做大，塞进更多数据的方式，已经是目前人工智能发展中最后一项重大进展，并且还声称目前还不清楚未来的发展方向何去何从。
如果抛开过热的市场预期和浮躁的跟风模仿去分析问题的本质，Altman对未来AI的发展方向是清晰而准确的。其说法侧面道出了OpenAI乃至整个AI赛道参与者目前所面临的现实困境：
1. 可用数据枯竭带来的数据瓶颈
OpenAI最早的语言模式是GPT-2，于2019年公布，发布时就有 15亿参数，此后随着OpenAI研究人员发现扩大模型参数数量能有效提升模型完善程度，真正引爆AI行业浪潮的GPT-3.5发布时，参数数量已经达到了1750亿。但人类互联网历史上被保留下来的各种高质量语料，已经在 GPT-3以及后续发布的GPT-4的学习中被消耗殆尽。大模型参数数量仍然可以继续膨胀下去，但对应数量的高质量数据却越来越稀缺，因此增长参数数量带来的边际效益愈发降低。
2. 算力爆炸导致边际收益递减带来的经济效益瓶颈
AI三大核心要素是数据、算法和算力，而算力的发展是最为迅速的一环。2020年OpenAI就发布分析报告，从2012年开始，AI训练所用的计算量呈现指数增长，平均每3.43个月便会翻倍，远高于摩尔定律的18个月翻倍的速度。大模型正是在这一背景下诞生的。依托飞速发展的算力，简单粗暴地堆砌参数是提升模型能效的捷径。机器学习先驱Richard S. Sutton著名的文章《苦涩的教训》里开篇就曾说道：“70年的人工智能研究史告诉我们，充分利用计算能力的一般方法最终是最有效的方法。”OpenAI秉承这一简单甚至原始的理念，3年内将模型参数从15亿(在当时这已经是一个天文数字)提高到1750亿，足足拉高了116倍。