什么是“奇点”？(2)

背景

虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。
如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为种子人工智能 Seed AI。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

智能爆炸

智能爆炸是构建通用人工智能 artificial general intelligence(AGI)的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致人工超级智能 artificial superintelligence(ASI)的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对超人类机器 superhuman machines及其影响进行了推测，如果他们真的被发明出来的话：
让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。