如果你爬过山，怎会不了解机器学习？(5)

在机器学习领域，更准确的说法是：“贪婪是相当好的东西。”梯度下降法可能会导致你陷入局部最优值陷阱，但相较于理论层面，这种情况在实践中发生的次数并不多。
想绕过局部最优值，你需要做的就是暂时收起你的贪婪。所有好的规则都有例外。例如，在你登顶后，你可以不停下脚步，而是随机选择另一个地点，重启梯度下降法。如果每次的终点都是同一个地方，你就会更加确信它是最佳地点。在图2 中，如果登山者从一个随机地点开始使用梯度下降法，他就更有可能登上那座大山峰，而不是困在那座小山峰上。
在现实生活中，你很难将自己重置于一个完全随机的人生位置上。更加切实可行的做法是，从你当前的位置随机迈出一大步，而不是贪婪地选择一小步。这种做法通常足以把你推到一个全新的位置上，向着人生巅峰迈进。
我是对还是错？
还有一个大问题。我们愉快地决定考虑所有可能的小改变，看看其中哪一个能带来最优梯度。如果你是一名登山者，摆在你面前的就是一个明确的问题：你在一个二维空间中选择下一步的行动方向，这相当于在指南针上的一圈方向中择其一，而你的目标是找出具有最优梯度的那个点。
但事实上，给猫图片评分的所有可能策略构成了一个十分巨大的无限维空间。没有任何方法能将你的所有选择考虑在内，如果你站在人的角度而不是机器的角度，就会发现这一点显而易见。假设我正在写一本关于梯度下降法的自助类书籍，并且告诉你：“想要改变你的人生，做法很简单。仔细考虑有可能改变你人生的所有方法，然后从中选择效果最好的那个，这样就可以了。”你看完这句话肯定会呆若木鸡，因为所有可能改变你人生的方法构成的空间太大了，根本无法穷尽搜索。
如果通过某种非凡的内省法，你可以搜遍这个无限维空间呢？那样的话，你还会碰到另一个问题，因为下面这个策略绝对可以使你的过往人生经历的错误分数降至最低。
策略：如果你将要做的决策和你以前做的某个决策完全相同，就把你现在考虑的这个决策视为正确的决定。否则的话，抛硬币决定吧。
如果换成学习识别猫的那台计算机，上述策略就会变成：
策略：对于在训练中被识别为猫的图片，输出“猫”。对于被识别为非猫的图片，输出“非猫”。对于其他图片，抛硬币决定吧。
这个策略的错误分数为0！对于训练中使用的所有图片，这台计算机都会给出正确的答案。但如果我展示一幅它从未见过的猫图片，它就会抛硬币决定。如果有一幅图片我展示过并告诉它那是猫，但在我把这幅图片旋转 0.01 度后，它也会抛硬币决定。如果我向它展示一幅电冰箱的图片，它还是会抛硬币决定。它所能做的只是精确地辨识出我展示过的有限的猫和非猫图片，这不是学习，而是记忆。