杀手AI公式：“天网”=机器学习 区块链 物联网 无人机(8)

这样的”自我意识“当然是很有限的。要说有真正的自我意识，一个机器人或计算机至少要比较接近Hal，有“身份”感。
那超级智能呢？这难道不算一关？
牛津大学的教授Nick Bostrom是在人工智能方面进行学术研究的先驱。他从好几个方面探讨了机器人如何能比人类更聪明以及其影响。在流行科学中，我们常听到“奇点”这个术语，指的就是计算机智能超过人类的时刻（最早由 科幻作家Vernor Vinge提出）。
我觉得这可能是危险的未来更显黑暗，因为这可能是杀手AI统治世界的一个节点。虽说进阶的AI更善于保护自己，它应该也会意识到毁灭人类对于自己没有好处，因为计算机网络毕竟还是要有人维护的。
一个武术教练曾告诉我，如果你要和一个黑带的选手对打，宁可和四段的黑带对打，也不要跟刚拿到黑带的人对打。当时我很疑惑吗，两者不是都能伤人吗？
没错，段位更高的对手比较能控制自己，不小心下手太重的可能性会比较小。而刚拿到黑带的对手，破坏力不小，但不一定有同等的控制力和经验，会不会在对打过程中不小心伤人，还说不准。
如果一个AI“经验”不足，但意识到要保全自身，那它可能会因此得出要毁灭人类的结论。也有可能由于某个AI的用途问题， 比方说操纵无人机袭击的AI，“保全自身”就是这个AI的“人设”，是写进程序“基因”里的。这类AI或许只知道如何应对武器威胁，对于其他物体就不够智能化。
开启第四关：AI的价值观
AI有自我保全的观念吗？如果有的话，这样的观念是如何写进其程序中的呢？
阿西莫夫曾提出机器人三大定律：第一、机器人不得伤害人类，或看到人类受到伤害而袖手旁观；第二、在不违反第一定律的前提下，机器人必须绝对服从人类给与的任何命令；第三、在不违反第一定律和第二定律的前提下，机器人必须尽力保护自己。
在阿西莫夫的作品中，这些法则就是机器人操作系统的基础。
那我们如何实现这3个定律呢？目前的AI不仅是受到代码的限制，而是经过数据集的训练。如果想让AI觉得人类值得保护，就得用有这方面特点的数据来训练它们，让它们得出这样的结论。
但是训练数据可能是有缺陷的。我最近和一家AI初创公司聊了一下，他们用的训练数据是放射和其他X射线影像。他们提到，训练数据中，提供给机器学习AI的数据集中，高达10%的数据是有缺陷的。如果训练数据集有缺陷，又怎么能确定这样训练出来的AI，给出的结果没有缺陷呢？