UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量(10)

所有核特征函数的可学习性与训练集大小正相关。

图 5：可学习性的特征函数之和始终为训练集的大小。
如图 5 所示，堆叠起来的柱状图显式了一个在十点域上的十个特征函数的随机 D 可学习性。堆叠起来的数据柱显示了十个特征函数的 D-可学习性，他们都来自相同的训练集 D，其中数据点个数为 3，我们将它们按照特征值的降序从上到下排列。每一组数据柱都代表了一种不同的网络架构。对于每个网络架构而言，每个数据柱的高度都近似等于 n。在图（A）中，对于每种学习情况而言，左侧的 NTK 回归的 D-可学习性之和恰好为 n，而右侧代表有限宽度网络的柱与左侧也十分接近。
6实验结果
在本文中，作者通过一系列实验证明了对有限宽度网络和 NTK 回顾IDE所有理论预测。在实验过程中，所有的实验架构为带有 4 个隐藏层的全连接网络，使用的激活函数为 ReLU，网络宽度为 500。由于使用了全连接网络，因此其核为旋转不变性 NTK。实验使用了三个不同的输入空间x（离散的单位元、超立方体、超球面）。对于每个输入空间而言，x的特征模会被划分到k∈N的退化子集中，其中 k 越大则空间中的变化越快。在所有情况下，随着k的增大，特征值会减小，这与人们普遍认为的神经网络倾向于缓慢变化函数的「频谱偏置」（Spectral bias）是一致的。
神经核的谱分析结果

图 6：神经核的谱分析使我们可以准确地预测学习和泛化的关键度量指标。