杀手AI公式：“天网”=机器学习 区块链 物联网 无人机(7)

要想“杀死”这样一个程序网络，唯一的办法就是将运行这个程序的所有设备都毁掉。但是如果这个程序能在智能设备上自我复制，在智能冰箱、汽车等设备上运行，那“杀手AI”复制的速度，可能远远快过我们损毁这些设备的速度，这样，天网就有可趁之机了。
第四关：具有自我意识、并以自身生存为首要目的的AI
这一关可能是最难闯的一关，难就难在不好定义上。这个问题有两个部分。
就以电影《2001：太空史诗》这部电影为例，其中的计算机HAL 9000就出现违背命令的行为，当主人公Dave Bowman下关闭命令时，Hal就开始”叛变“，说出了有名的台词：”抱歉，Dave，命令无法执行。”
Hal不仅知道自己和Dave或者船体的一部分是独立的，它也将保全自身作为自己的首要目标，而不是保护舱内的人。我们分开看看这两个问题。
自我意识。图灵是现代计算机的先驱，他对图灵测试的定义是：如果人类不能判断跟自己交流的是不是一台机器（或程序），就算通过图灵测试。如果人类和某台机器交流（通过键盘或其他方式），无法判断对方是机器还是人类，那么其中的AI就算通过了图灵测试。但是，定义本身没有明说什么叫“无法判断”，也没有描述无法判断的情况。
那自我意识到底是什么呢？这个问题很难定义。我觉得，测试AI或者某个电脑程序有没有自我意识，看的是它们能不能将自己视做独立于计算机里其他软件、硬件和物理世界的个体。
对于AI而言，没有其他关于自我意识的测试了，但是或许我们应该设立更多此类的测试，清晰地定义AI有什么样的表现，人类有什么样的回应，什么样的互动过程能说明某个AI具有自我意识。或许我们能给这个测试取个名字，比如Hal9000测试或者天网测试。
要真正过这一关，我们需要突破表面层次的自我意识。大多数计算机某种程度上都知道自己和其他计算机之间是独立的。但是，这个“独立意识”仅仅是建立在不同的IP地址，或者不同操作系统上的区别。
我记得自己第一次思考自我意识问，那还是在我在MIT参加编程竞赛的时候。选手们都要写程序，这些程序之间将在同一台设备决斗，最后剩下的程序就是赢家。
当时我想的是找出一个用最少代码赢得竞赛的办法，一天大半夜里，我灵光一闪，想道“假如我的程序能改写自己和其他程序，这样只需两步，它就能赢得决斗。所以，我的程序要能意识到自己是个程序（自己的代码是什么），能够改写自己，然后改写对方程序的指令（使其无法继续）。