什么是“奇点”？(10)

潜在影响

不确定性和风险

“技术奇点”一词反映了这样一种想法：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence和未来生命研究所 The Future of Life Institute。
物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：
所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。
Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。人工智能研究员 Hugo de Garis认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。