UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量(15)

由于数据集的随机选择造成的方差。（A）单位圆上正弦特征函数的可学习性。作者将单位圆离散化为 M=2^8 个输入点，训练集包含所有的输入点，可以完美地预测所有的函数。（B）8d 超立方体顶点的子集对等函数的可学习性。k值较高的特征函数拥有较小的特征值，其学习速率较慢。当 n =2^8 时，所有函数的预测结果都很完美。虚线表示 L-n/m 时的情况，所有函数的可学习性都与一个随机模型相关。（C）超球谐函数的可学习性。具有较高 k 的特征函数有较小的特征值，学习速率较慢，在连续的输入空间中，可学习性没有严格达到 1。
可学习性的统一形式

图 8：本征模的可学习性 vs. 特征值的统一函数形式。
对于任意的数据集大小和输入域而言，本征模的可学习性严格符合曲线

的形式，其中 C 为与问题无关的参数。理论曲线（实线）在每种情况下都是类似于 Sigmoid 函数的形状。NTK 回归和有限宽度网络的真实的本征模可学习性