科学好故事｜大脑是一台名副其实的“预测机器”(4)

然后，他们用安装在车载摄像头拍摄的城市街道视频训练该网络。PredNet学会了持续预测视频序列中的下一帧，这非常酷。
他们的下一步是将PredNet与神经科学联系起来。2020年，研究团队撰文称，PredNet显示了猴子大脑对意外刺激做出反应时的行为，包括一些在简单前馈网络中难以复制的行为。
这是一项了不起的工作，无论是拉奥和巴拉德的模型，还是PredNet，都明确加入了用于预测和纠错的人工神经元，以及能做出自上而下的准确预测以抑制错误神经元的机制。但如果没有明确指定这些神经元会如何呢？研究人员想知道，所有这些加进去的构造约束是否真的有必要，或者我们是否可以通过更简单的方法把它们去掉。

哈佛大学的威廉·洛特和他的博士论文导师共同创建了PredNet，这是一个循环神经网络，在结构设计上可用于执行预测编码
首先能到想的是，神经通信是十分耗能的，毕竟大脑是身体中消耗能量最多的器官。因此，保存能量的需要可能会限制生物体中任何正在进化的神经网络行为。
研究人员决定试一下，看看在需要用尽可能少的能量完成任务的循环神经网络中，是否会出现预测编码的计算机制。他们认为，在神经网络中，人造神经元之间的连接强度（也被称为“权重”），可以作为突触传递的代理，而突触传递是生物神经元消耗大量能量的原因。如果能减少人工单元之间的权重，就意味着你能用更少的能量交流，这等同于将突触传递最小化。
然后，研究团队用多个升序并头尾相接的连续数字序列来训练RNN，包括1234567890、3456789012、6789012345等等。每个数字都以28×28像素的图像形式显示给循环神经网络。该网络学习了一个从序列中任意位置开始预测下一位数字的内部模型，但被要求以最小的单元权重来完成这一任务，类似于生物神经系统中低水平的神经活动。
在这些条件下，这一循环神经网络学会了预测序列中的下一个数字。它的一些人工神经元充当了“预测单元”，代表一个预期输入的模型。其他神经元则充当“误差单元”，当预测单元尚未学会正确预测下一个数字时，它们最为活跃；而当预测单元开始正确做出预测时，这些误差单元就被抑制住了。至关重要的是，该网络之所以能形成这一结构，是因为它必须尽量减少能量消耗。它只是学会了人们通常明确内置于系统中的那种抑制机制，系统是即开即用的，将其作为一件紧急事务来做，并达到高效节能。