机器学习正遭遇“可重复性危机”，或已成“炼金术”？(6)

然而，研究者也在开展下一代机器学习系统的相关工作，以确保它能够评估其预测的不确定性，以及解决它的不可再现性。
话虽这么说，正如只有愚昧的工人才会将他失败的原因归咎于他们使用的工具，科学家们在使用机器学习算法时也需要格外小心，以确保他们的研究结果得到证实和检验。同行评审流程的设计初衷就是为了确保这一点，而这同时也是每个研究人员的责任。研究人员需要弄清他们使用的技术并了解其局限性；如果他们不具备这些专业知识，那么去一趟统计系与某位教授进行一次交流将会让我们都收益匪浅。
Rahimi（他认为 ML是一种 “炼金术”方法）提供了一些建议来判断哪种算法最为有效，在何时最佳。他指出，研究人员应进行消融研究， 即将参数依次移除，以评估其对算法的影响。 Rahimi 还呼吁进行切片分析，即分析一个算法的性能，以了解对该算法在某些方面的改进会使其消耗其他方面的成本。最后，他建议运行设置了具有各种不同超参数的算法，并应汇报这些算法的所有性能。这些技术将使用 ML 算法对数据提供更强大的分析。
由于科学研究过程的性质，一旦解决了这些问题，就可以最终发现并纠正以前发现的认为是准确的错误关系。准确的判断当然经受得起时间的考验。
四、结语
由于最终结果缺乏可重复性，机器学习方法在科学学术界确实存在问题。然而，科学家们已经意识到了这些问题，并且正在朝着更具可重复性和可解释性的机器学习模型推进相关工作，而一旦实现这一目标，神经网络将会迎来真正意义上的突破。
Genevera Allen 强调了机器智能面临的一个基本问题：数据科学家仍然不了解机器学习所采取的机制。科学界必须共同努力，以便了解这些算法究竟是如何工作的，以及如何最有效地使用它们，以确保使用这种数据驱动的方法最终得出可靠的、可重复的科学有效的结论。
就连声称机器学习是“炼金术”的 Rahimi 也对其潜力充满希望。他说，“正是由于原始的炼金术才有了后面的冶金学、药物制造、纺织染色以及我们现代的玻璃制造工艺技术的发明。此外，炼金术士也认为，他们可以将普通的金属转化为黄金，而水蛭是治愈疾病的好方法。”
正如物理学家Richard Feynman1974年在加州理工学院的毕业典礼上所说，
“科学的第一个原则是你不能愚弄自己，然而你自己却是最容易被愚弄的人。”
参考文献：