贝叶斯自举法BayesianBootstrap(2)

sns.countplot(bootstrap_weights, color="C0").set(title="Bootstrap Weights");

正如我们所看到的，大约3600次观察得到的权重为零，而一些观察得到的权重为6。或者说大约3600个观察结果没有被重新采样，而一些观察结果被重采样多达6次。
这里可能就有一个问题：为什么不用连续权值来代替离散权值呢?
贝叶斯自举就是这个问题的答案。

贝叶斯自举

Bayesian bootstrap是由Rubin(1981)提出的，它基于一个非常简单的想法:为什么不画一个更平滑的权重分布?多项式分布的连续等价是狄利克雷分布。下面的图绘制了一次观测的多项和狄利克雷权重的概率分布(它们分别是泊松分布和伽马分布)。

贝叶斯自举的优点
第一个也是最直观的是，由于其连续的加权方案，它提供的估计值比普通的自举法更光滑。
此外连续加权方案阻止了极端情况的出现（没有观察到的0权重）。 例如在线性回归中，如果原始样本中没有共线性，则不会出现共线性问题。
最后作为一种贝叶斯方法：估计量的估计分布可以解释为具有非信息先验的后验分布。
现在，让我们画一个狄利克雷权重
bayesian_weights = np.random.dirichlet(alpha=np.ones(N), size=1)[0] * N
np.sum(bayesian_weights)