UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量(3)

为此，本文作者进行了一系列近似，他们首先将真实的网络近似为理想化的宽度无限的网络，这与核回归是等价的。接着，作者针对核回归的泛化推导出了新的近似结果。这些近似的方程能够准确预测出原始网络的泛化性能。
本文的研究建立在无限宽网络理论的基础之上。该理论表明，随着网络宽度趋于无穷大，根据类似于中心极限定理的结果，常用的神经网络会有非常简单的解析形式。特别是，采用均方误差（MSE）损失的梯度下降训练的足够宽的网络等价于 NTK 核回归模型。利用这一结论，研究者们研究者们通过对核回归的泛化性能分析将相同的结论推广至了有限宽的网络。
Bordelon 等人于 2020 年发表的 ICML 论文「Spectrum dependent learning curves in kernel regression and wide neural networks」指出，当使用 NTK 作为核时，其表达式可以精准地预测学习任意函数的神经网络的 MSE。我们可以认为，当样本被添加到训练集中时，网络会在越来越大的输入空间中泛化得很好。这个可学习函数的子空间的自然基即为 NTK 的特征基，我们根据其特征值的降序来学习特征函数。
具体而言，本文作者首先形式化定义了目标函数的可学习性，该指标具备 MSE 所不具备的一些理想特性。接着，作者使用可学习性来证明了一个加强版的「没有免费午餐定理」，该定理描述了核对正交基下所有函数的归纳偏置的折中。该定理表明，较高的 NTK 本征模更容易学习，且这些本征模之间在给定的训练集大小下的学习能力存在零和竞争。作者进一步证明，对于任何的核或较宽的网络，这一折中必然会使某些函数的泛化性能差于预期。
2特征值与特征向量
令A为n阶方阵，若存在数λ和非零向量x，使得Ax=λx，则λ称为A的特征值，x为A对应于特征值λ的特征向量。

图 1：特征值与特征向量的定义