核能杀手Therac-25：治病机器与杀人软件(7)

不过FDA马上否定了补丁V1，并要求AECL给出详细测试计划。
AECL表示测试计划很难，但可以再加一个补丁，于是在1986年12月22日发布了补丁V2。
V2上线后的第25天，第六起事故发生了。
1987年1月，美国雅基玛谷纪念医院，第六起。
第六起和第三起发生在同一个地方。
在用户和FDA的压力下，AECL很快查明了问题。
简单来说，这起事故是由另一个bug引起的。和之前的一样，单从本身看，这个bug本身也不是什么大问题，仅仅是一个字节使用不当而已，但它们的影响都是致命的。
至此，AECL的信任被消耗的差不多了，哪怕他宣布立即上线之前被否定的硬件锁，也没有再让大家相信Therac-25的安全性。
FDA很快下线了所有的Therac-25。
AECL继续孜孜不倦的开发补丁。1987年7月21日，他发布了最后一版补丁，第5版，所以叫补丁V5。
但这个补丁并没有V5起来，后面的日子里，Therac-25江河日下。
1988年，AECL重组了开发Therac-25的医疗部门，将其更名为Theratronics，并试图打包卖给别人，未遂。
1991年，因为Therac-25的问题，FDA禁止了该公司的全部产品线。
2005年，Theratronics公司解散。
Therac-25事件后，FDA开始仔细研究医疗软件设备的审查标准，并逐渐发展成了现行的IEC62304（2006版，国内对应为YY/T0664）。这也是现在医疗软件开发过程管理的基本标准。

05 尾声

Therac-25其实就是一种机器人。
自机器人被发明，甚至被幻想出来开始，关于它不听话了要怎么办的担忧就没有停过。
而且这并不像科幻小说那么遥远，你肯定听过自动驾驶的故障，也用过只知道绕圈子息事宁人的智能客服，从广义上来说，这都是机器对你的碾压。
给牛顿写了墓志铭的英国人蒲柏有这么一句诗：
To err is human; to forgive, divine。
犯错是人性，宽恕是神性。
或许比起等待机器产生自我意识，然后要求它们凭借善良本性，遵循阿西莫夫的机器人三定律来，这会是一个更理性的选择。
毕竟我们都知道人不能因噎废食。