走进高维空间之“维度魔咒”，所有的“邻居”都去哪了？(2)

为预测-响应关系建模的一种方法被称为K-近邻算法。为了理解这种方法，让我们把预测变量看作是代表一些高维的预测空间。也许你想知道这意味着什么，但这其实很简单，如果我们正在处理番茄作物数据，也许在第一轴（即维度）上有总降雨量，第二轴上有土壤硝酸盐水平，第三轴上有土壤pH值，第四轴上有平均温度，等等。因此，我们的每一个数据点都代表了高维空间中的一个点，它在该空间中的坐标取决于它对每个预测变量的值。例如，让我们看一下三维作物预测空间中的几个点。

这里，绿色的点代表降雨量为8、土壤硝酸盐含量为35、pH值为6的作物；蓝色的点代表降雨量为4、土壤硝酸盐含量为25、pH值为7.5的作物；而橙色的点代表降雨量为6、土壤硝酸盐含量为45、pH值为7的作物。假设我们知道与这些西红柿作物中的每一种相关的作物产量。

通常情况下，我们会将产量（即响应变量）作为一个额外的轴/维度进行可视化，但我在这里没有这样做，因为我们只能将三个维度可视化化。
比方说，现在是春天，我们正在种植新的西红柿作物。我们有土壤的硝酸盐水平和pH值，而且我们对预期的降雨量有一个很好的概念。我们把这个新作物表示为下面的红点。