UC伯克利发现「没有免费午餐定理」加强版：每个神经网络，都是一个高维向量(9)

图 3：为四种训练集大小不同的布尔函数训练神经网络的泛化性能度量。无论是对 MSE 还是可学习性而言，理论预测结果（曲线）与真实性能（点）都能够很好地匹配。
5核回归的没有免费午餐定理
除了对泛化性能的近似，本文作者还针对核回归问题提出了一种加强版的「没有免费午餐定理」。经典的「没有免费午餐定理」的结论是：由于对所有可能函数的相互补偿，最优化算法的性能是等价的。

图 4：经典的没有免费午餐定理（来源：《机器学习》，周志华）
简单地说，如果某种学习算法在某些方面比另一种学习算法更优，则肯定会在其它某些方面弱于另一种学习算法。具体而言，没有免费午餐定理表明：
1）对所有可能的的目标函数求平均，得到的所有学习算法的「非训练集误差」的期望值相同；
2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的「非训练集误差」的期望值也相同；
3）对所有的先验知识求平均，得到的所有学习算法的「非训练集误差」的期望值也相同；
4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的「非训练集误差」的期望值也相同。
对于核回归问题而言，所有可能的目标函数

的期望满足：