UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量(17)

对此，一作回应道：没错，我们的理论假设知道完整的目标学习函数 f^，而在实践中我们只能看到一个训练集。
“但从折中的角度来使用该理论也是可行的。假设我们知道目标学习函数属于少数可能函数之一。 该理论原则上包含足够的信息来优化内核，因此它在所有可能函数上都具有很高的平均性能。 当然，目标学习函数永远不会只是少数几个离散选项中的一个。但是如果拥有一些关于目标学习函数的先验——例如，自然图像可能服从某些统计。另外，或许也可以从数据-数据内核矩阵中获得足够的信息来使用该理论，我们以后可能会探索这个方向！”
8结语
在本文中，作者提出了一种神经网络泛化的第一性原理，该理论能有效、准确地预测许多泛化性能指标。这一理论为神经网络的归纳偏置提供了新的视角，并为理解它们的学习行为提供了一个总体框架，为许多其他深度学习之谜的原理研究打开一扇崭新的大门。
参考链接：
https://www.reddit.com/r/MachineLearning/comments/qfy76l/r_neural_tangent_kernel_eigenvalues_accurately/
雷锋网雷锋网