什么是“奇点”？(7)

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。
第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。
由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。第二，人工智能可以与人类竞争赖以生存的稀缺资源。
虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。
Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。

危机

一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。
早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。
心理学家史蒂芬·平克 Steven Pinker 在2008年指出：