UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量(2)

因此，研究人员试图寻找一种新的方法来解释神经网络的泛化能力。
近日，加州大学伯克利分校的研究者于 Arxiv 上在线发表了一篇题为「NEURAL TANGENT KERNEL EIGENVALUES ACCURATELY PREDICT GENERALIZATION」的论文，指出「神经正切核」的特征值可以准确地预测神经网络的泛化性能。
「神经正切核」是近年来神经网络优化理论研究的热点概念，研究表明：通过梯度下降以无穷小的步长（也称为梯度流）训练的经过适当随机初始化的足够宽的神经网络，等效于使用称为神经正切核（NTK）的核回归预测器。
在本文中，作者指出：通过研究神经网络的神经正切核的特征系统，我们可以预测该神经网络在学习任意函数时的泛化性能。具体而言，作者提出的理论不仅可以准确地预测测试的均方误差，还可以预测学习到的函数的所有一阶和二阶统计量。
此外，通过使用量化给定目标函数的「可学习性」的度量标准，本文作者提出了一种加强版的「没有免费午餐定理」，该定理指出，对于宽的神经网络而言：提升其对于给定目标函数的泛化性能，必定会弱化其对于正交函数的泛化性能。
最后，作者将本文提出的理论与宽度有限（宽度仅为 20）的网络进行对比，发现本文提出的理论在这些宽度较小的网络中也成立，这表明它不仅适用于标准的 NTK，事实上也能正确预测真实神经网络的泛化性能。

论文地址：https://arxiv.org/pdf/2110.03922.pdf
1问题定义及研究背景
作者首先将上述问题形式化定义为：从第一性原理出发，对于特定的目标函数，我们是否高效地预测给定的神经网络架构利用有限的个训练样本学习到的函数的泛化性能？
该理论不仅可以解释为什么神经网络在某些函数上可以很好地泛化，而且还可以预测出给定的网络架构适合哪些函数，让我们可以从第一性原理出发为给定的问题挑选最合适的架构。