猴子，人类，GPT(2)

当Deepmind用Transformer算法预测蛋白质（AlphaFold）的时候，他没有意识到新算法的价值；当GPT-3能够以生成（而非检索）的方式回答问题时，他也依然没有识别出这条预测之路的潜力；当看到GPT说“脚上有两只眼睛”只觉得可笑，“人的推理能力仍然很有限。”他以自身为例说。
如果承认人类推理、预测未来的能力是有限的，那么，在“AGI雏形”级别的AI模型面前，谨慎就变得有必要。
01
GPT学诞生
Yi：人类大脑的扩大是在语言出现之后还是之前？
刘嘉：之前，语言出现是很后面的事情了。人用了300万年，让大脑的体积扩大了三倍。从进化史上看，从来没有一个器官能够在这么短时间内发生如此巨大的变化，所以Hinton（图灵奖得主）等人就坚信，人之所以比动物聪明，就是因为大脑的规模更大。
Yi：GPT-3发布之初您也不太认可，您当时觉得它的问题是什么？
刘嘉：当时我认为它有很多问题，比如说它只是在做简单的联系，你问它“腿上有几只眼”，它会告诉你有两只眼睛。它只是将眼睛和身体关联在一起了，而没有理解什么叫眼睛。
从GPT-3到 ChatGPT出来的两年半时间，他们一直在调教GPT-3，把它当作是一个刚出生的小孩，给于它适当的教育。类似的，一个即使基因很好的小孩生出来之后，如果不给他教育，而是把他扔到荒野，长大后他不可能聪明。所以，OpenAI用了两年半时间教育GPT-3，使它从一个两岁小孩，变成清华毕业的学生。
Yi：用“预测下一个词”的模式生成语言，这个机制为什么行得通？
刘嘉：语言本质就是一个序列。一旦有了序列，就有了先后，就有了时间。而一旦有了时间，就有了因果，就能够做推理。德国哲学家康德300年前在《纯粹理性的批判》一书中说，他认为人类之所以能产生各种复杂的高级认知功能、高级情感，是因为人类有三个先验知识：空间、时间和推理。ChatGPT为什么能够在各种考试中战胜人类？不仅仅它拥有知识，而且还因为它能够做推理。
Yi：人的说话模式与GPT一样吗？
刘嘉：按照语言学家乔姆斯基的理论，人是基于通用语法来产生语言。ChatGPT出来了之后，业界会对这类观点有颠覆性的改变，我猜测这也是为什么乔姆斯基那么反对ChatGPT的原因之一。关于人类是怎么产生语言的，研究领域面临着重新洗牌的可能。