连接学派败局的挽回——多则不同

Geoffrey Hinton
1974年，人工智能连接学派的救世主杰夫·辛顿（Geoffrey Hinton）终于出现了。他曾至少两次挽回连接学派的败局，1974年是第一次，第二次会在下文提到。辛顿的出发点很简单——“多则不同”：只要把多个感知机连接成一个分层的网络，那么，它就可以圆满地解决闵斯基的问题。如下图所示，多个感知机连接成为一个四层的网络，最左面为输入层，最右面为输出层，中间的那些神经元位于隐含层，右侧的神经元接受左侧神经元的输出。

但接下来的问题是，“人多吃得多”，那么多个神经元，可能有几百甚至上千个参数需要调节，我们如何对这样复杂的网络进行训练呢？辛顿等人发现，采用几年前阿瑟·布赖森（Arthur Bryson）等人提出来的反向传播算法（Back propagation algorithm，简称BP算法）就可以有效解决多层网络的训练问题。
还是以水流管道为例来说明。当网络执行决策的时候，水从左侧的输入节点往右流，直到输出节点将水吐出。而在训练阶段，我们则需要从右往左来一层层地调节各个水龙头，要使水流量达到要求，我们只要让每一层的调节只对它右面一层的节点负责就可以了，这就是反向传播算法。事实证明，多层神经网络装备上反向传播算法之后，可以解决很多复杂的识别和预测等问题。
几乎是在同一时间，又有几个不同的神经网络模型先后被提出，这些模型有的可以完成模式聚类，有的可以模拟联想思维，有的具有深厚的数学物理基础，有的则模仿生物的构造。所有这些大的突破都令连接学派名声大噪，异军突起。