猴子，人类，GPT(6)

所以ChatGPT的影响是颠覆性的，包含我在内对AI 比较了解的人都基本上没有任何思想准备，而它对普通人的冲击可能更大，因为这将让一些人莫名其妙就丢掉了饭碗。我猜测OpenAI那帮人也没有预料到会如此成功。
Yi：是不是意味着过去包括很多语言学家，其实低估了语言的力量？
刘嘉：倒不是低估语言的力量，而是低估了人工神经网络能够理解语言。大家过去信奉的还是那个无限猴子定理，即语言的组合爆炸问题。大家认为这个问题不可能解决，至少不可能在短时间内解决，但事实上它就解决了。
03
创新难题
Yi：您经常参加产业界的研讨会，您认为中国企业为什么会在这一轮技术变革中落后？
刘嘉：第一个原因，我认为是国内公司太强调应用场景了。如果你想做一个AI项目，大家通常会问这个在一两年内是不是能够挣到钱。第二个原因，大家普遍认为通用人工智能可能很长时间内都还是一个科幻，包括自然语言理解、自然语言生成可能要再过个20年或者50年才能解决，大家觉得这个问题太难，不愿意投入去做。而更重要的原因，是没有使命感，因此不够偏执，不够孤注一掷。而OpenAI不存在以上三点的问题，而是all in大语言模型，把这个问题给啃下来了，从而揭开了人工智能新的一面，把任务特异的专用人工智能进化到了通用人工智能，产生了一个像人一样“思考”的新物种。
Yi：为什么很多人都对AGI什么时候到来判断错了？
刘嘉：包含我在内，我也严重判断失误。2020年5月GPT-3发布，我就开始追踪了，但当时我其实站在对立面，觉得这个东西不行，它有太多太多问题，国内和国际上很多报告都在说这件事不靠谱。
例如，2021年年底，Hinton接受MIT Tech Review采访，说他相信深度学习能够做任何事情。之前的人工智能不够强大，是因为模型不够大。Hinton当时说，GPT-3之所以还有很多差强人意的地方，是因为它的参数比人类大脑还低了1000倍，三个数量级。OpenAI首席科学家Ilya Sutskever是Hinto的学生，对此也坚信不疑。他们都相信，模型大到一定程度的时候，很多功能会自涌现出来。这种说法当时也遭到嘲笑。但后来GPT-3.5和GPT-4之所以成功，就受惠于模型的放大。
2022年5月，马斯克在Twitter上面说，他认为通用人工智能会在2029年会出现。绝大部分人都反对他，这包括人工智能科学家、纽约大学心理系教授Gary Marcus，他向马斯克提出了一个10万美元的赌约。ChatGPT出来后，现在没有多少人怀疑马斯克的预测了。我猜测，因为马斯克原本是OpenAI的创始人之一，他应该是在OpenAI看到东西了（注：ChatGPT所基于的GPT-3.5已在2022年初发布），才会做出判断2029年AGI会来。