什么是“奇点”？(11)

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。
按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，可以避免包括自欺欺人、无意的工具性行为和奖励机制的腐败等一些危险。他还讨论了人工智能和人工智能测试的社会影响。他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。
该书还提出了一个简单的易受奖励机制的腐败影响的设计。

社会生物进化的下一步

生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。
虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。
此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的进化巨变 major evolutionary transition之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。
2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的防抱死制动系统 Anti-lock braking system和飞机上的自动巡航模式 autopilot……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”