如果你爬过山，怎会不了解机器学习？(4)

我喜欢随机梯度下降法的原因在于，它听上去很疯狂。例如，想象一下，美国总统正在制定全球战略，一群下属围在他身边大喊大叫，建议总统以符合他们自身特殊利益的方式调整政策。总统每天随机选择一个人，听取他的建议，并对政策做出相应的改变。用这种方法管理一个大国是极其荒谬的，但它在机器学习方面却行之有效！
到目前为止，我们的描述缺失了一个重要因素：你如何知道何时该停止呢？你也许会说，很简单啊，当我们做出任何小改变都不能使错误分数降低时，就可以停止了。但有一个大问题：你可能并未真正“登顶”！
如果你是图2中那个快乐的登山者，向左走一步或向右走一步，你会看到这两个方向都不是上坡。这就是你快乐的原因：你自认为已经登顶了！

图2
但事实并非如此。真正的峰顶还很遥远，而梯度下降法不能帮你到达那里。你掉进了数学家所说的“局部最优值”（local optimum，局部极大值或局部极小值，它取决于你的目标是冲顶还是触底。）陷阱，在这个位置上，任何小变化都不能产生改善效果，但它远非真正的最佳站位。
我喜欢把局部最优值看作拖延症的数学模型。假设你必须面对一项令人厌烦的任务，例如，整理一大摞资料，其中大部分与你多年来一直想达成的目标有关，扔掉它们则代表你最终选择妥协，不打算继续坚持下去了。每一天，梯度下降法都会建议你采取某个小行动，从而最大程度地提升你当天的幸福感。整理那一大摞资料会让你感到快乐吗？不，恰恰相反，它让你感觉很糟糕。推迟一天完成这项任务是梯度下降法对你的要求，第二天、第三天、第四天……算法每天都会给你同样的建议。就这样，你掉进了局部最优值——低谷——的陷阱，要想登上更高的山峰，你必须咬牙穿过山谷，那也许是很长的一段路，而且你得先往下走再往上爬。梯度下降法也被称为“贪婪的算法”，因为它每时每刻都会选择能使短期利益最大化的步骤。贪婪是罪恶之树上的主要果实之一，但有一个关于资本主义的流行说法称“贪婪是好东西”（greed is good）。