被操纵的P值：科学论文中的数学胡扯丨展卷(4)

为了避开这个陷阱，研究人员应该在查看数据之前明确说明所有这些选择，然后测试他们事先承诺的那个假设。例如，我有可能决定测试那些达到投票年龄的成年男性和女性，看看他们是否会在看好的州长候选人选举失败后服用更多的止痛药。或者，我可能会测试在共和党人取代民主党人当选美国众议院议员的那些地区，看看儿童用泰诺的销量是否会下降。无论我选择看什么，重要的是我在分析数据之前就做出明确说明。否则，通过观察足够多的不同假设，我总会得到一些有显著性的结果，即使我找不到真正的模式。
但是，我们不妨从研究者的角度看一看。假设你刚刚花了几个月的时间，收集了大量数据。你测试了你的主要假设，最终得到了一些看上去有希望但不具有显著性的结果。你知道，就这样保持不变的话，不要说优秀期刊，甚至其他所有期刊都不会发表你的研究成果。但你认为你的假设肯定是成立的，也许只是没有足够的数据支撑。所以你继续收集数据，直到你的p 值降到0.05 以下，然后你立即停止收集数据，以免它变回到阈值以上。
或者你可以尝试一些其他的统计测试。由于数据接近显著性， 选择正确的测量方法和测试，也许能让你跨过p = 0.05 这道关卡。当然，稍加修改，你就找到了一种能给你带来显著结果的方法。
或者你的假设似乎只对男性成立，而有统计意义的模式被包含在你的样本里的女性淹没了。你一看，哎呀，如果只看男性，你会得到一个有统计显著性的结果。怎么办？放弃整个项目，放弃数千美元的投资，让你的研究生再推迟6个月毕业……还是只记录男性的研究结果，然后提交给优秀期刊？在这些情况下，为选择后一种做法找一个理由似乎并不是那么难。你可能会对自己说：“我确信这种趋势确实存在。我从一开始就在考虑将女性排除在研究之外。”
祝贺你。你成功地对你的研究进行了p 值操纵。
假设有1000名在诚实性方面无可挑剔的研究人员，他们在任何情况下都会拒绝p 值操纵。这些品德高尚的学者测试了上千个关于政治上取得的胜利和止痛药的使用之间是否存在关系的假设，但所有这些假设都是不成立的。在p = 0.05 这个水平上，单凭碰运气，这些假设中就有大概50 个假设会找到统计学上的支持。这50 名幸运的研究人员将研究结果写下来，发给期刊，然后被期刊接受并发表。在其余950 名研究人员中，只有少数人会不辞辛苦地写下他们的阴性结果，其中只有几个人能够发表他们的阴性结果。