如果你爬过山，怎会不了解机器学习？(11)

图10中这个神经网络的权重已知，如果平面上的点(x, y)位于灰色形状内部，就赋予它一个等于或小于3的值。注意，当点(1, 1)位于灰色形状的边界上时，策略赋予它的值是3。

图10
不同的权重会产生不同的形状，虽然不是任意形状。感知机的本质意味着这个形状永远是多边形，即边界由多条线段构成的形状。（前文中不是说这应该是非线性的吗？没错，但感知器是分段线性（piecewise linear）结构，这意味着它在空间的不同区域内满足不同的线性关系。更通用的神经网络可以产生更弯曲的结果。）
如图11所示，假设我用X 标记了平面上的一些点，用O 标记了其他一些点。我给机器设定的目标是让它习得一个策略：根据我标记的那些点，用X 或O为平面上其他未标记的点赋值。也许（希望如此）我可以通过正确设置那 14 个旋钮得到某个策略，将较大的值赋予所有标记为X 的点，而将较小的值赋予所有标记为O 的点，以便我对平面上尚未标记的点做出有根据的猜测。如果真有这样的策略，我希望可以通过梯度下降法来习得它：微微转动每个旋钮，看看这个策略在给定例子中的错误分数会降低多少，从中找出效果最佳的那个操作，并付诸实施；重复上述步骤。深度学习中的“深度”仅指神经网络有很多层。每层的盒子个数被称为“宽度”（width），在实践中，这个量可能也很大。但相比“深度学习”，“宽度学习”少了一些专业术语的味道。

图11
可以肯定的是，今天的深度学习网络比上文中的那些示意图要复杂得多，盒子里的函数也比我们讨论过的简单函数要复杂得多。递归神经网络中还包含反馈盒子，就像我的DX21 合成器上的“OP4”一样，把自身的输出作为输入。而且，它们的速度明显更快。正如我们所见，神经网络的概念已经存在很长时间了，我记得就在不久前，人们还认为这条路根本走不通。但事实证明，这是一个很好的想法，只不过硬件必须跟上概念的步伐。为快速渲染游戏画面而设计的GPU芯片，后来被证明是快速训练大型神经网络的理想工具，有助于实验人员提升神经网络的深度和宽度。有了现代处理器，你就不必再受限于 14 个旋钮，而可以操控几千、几百万乃至更多的旋钮。GPT-3 生成的英语文本能以假乱真，它使用的神经网络有1750亿个旋钮。