NeuroAI：迈向下一代人工智能(5)

这种无法处理训练数据中未出现场景的情况，是对人工智能系统的广泛应用的一个重大挑战。
要想在一个不可预知和不断变化的世界中取得成功，智能体必须灵活，并通过使用其关于此类情况可能如何进行的一般知识来掌握新情况。这可以说是动物的行为。动物天生就具备茁壮成长所需的大部分技能，或者可以从有限的经验中迅速获得这些技能，这得益于它们在进化和发展过程中在现实世界互动方面的强大基础 (Zador 2019)。因此，为一项特定任务从零开始训练并不是动物获得令人印象深刻的技能的方式；动物并不是一无所有的来到这个世界上，然后依靠大型标记训练集来学习。尽管机器学习一直在寻求绕过这种限制的方法，包括自我监督学习、迁移学习、持续学习、元学习、一次性学习和模仿学习 (Bommasani et al. 2021)，但这些方法都无法实现大多数动物身上的灵活性。因此，我们认为，为现实世界 (甚至是简单动物) 的行为灵活性提供基础的神经环路原理，有可能极大增加人工智能系统的灵活性和实用性。
换句话说，通过利用进化已经参与的优化过程，我们可以大大加快对用于现实世界互动的通用环路的搜索 (Gupta et al. 2021; Stöckl, Lang, and Maass 2022; Koulakov et al. 2022; Stanley et al. 2019; Pehlevan and Chklovskii 2019)。
能源效率。现代人工智能面临的一个重要挑战是能源效率，而我们的大脑已经克服了这一挑战。训练神经网络需要大量的能源。例如，训练GPT-3等大型语言模型需要超过1000兆瓦时的电力能源，足以为一个小镇供电一天 (Patterson et al. 2021) 。用于训练人工智能系统的总能量很大，而且增长迅速。相比之下，生物系统的能量效率要高得多：人脑约20瓦 (Sokoloff 1960)。大脑和计算机之间能量需求的差异源于信息处理的差异。首先，在算法层面上，现代大规模人工神经网络，例如大语言模型 (Brown et al. 2020)，依赖于非常大的前馈架构，随着时间的推移，实现自我关注 (Vaswani et al. 2017)，忽略了处理递归顺序信息的潜在能力。原因之一是目前我们在循环网络中还没有有效的信用分配计算机制。
相比之下，大脑利用灵活的循环体系结构来处理随时间变化的序列，显然可以高效地解决信用分配问题——甚至比当前人工神经网络中使用的前馈信用分配机制更有效。如果我们可以用大脑来指导如何为循环题写设计有效的训练机制，那么我们就有可能提高处理顺序数据的能力，同时进一步提高我们系统的能源效率。其次，在实现层面，生物神经元主要通过传输动作电位(峰值)进行交互，这是一种异步通信协议。就像传统数字元素之间的相互作用一样，神经元的输出可以被视为一串0和1；但与数字计算机不同的是，“1”(即峰值)的能量成本比“0”高几个数量级 (Attwell and Laughlin 2001)。因为生物环路在峰值稀疏的状态下运行——即使非常活跃的神经元也很少在一个工作循环中超过10%，而且大多数神经元的运行速率要低得多，因此它们的能量效率要高得多(Lennie 2003)。