被操纵的P值：科学论文中的数学胡扯丨展卷(5)

读者查阅文献时，会看到有50项研究表明政治结果和止痛药消费之间存在联系，也许还有为数不多的研究称没有发现任何联系。读者会很自然地得出结论：政治对止痛药的使用有很大的影响，而那些失败的研究肯定是测量了错误的量，或者是在寻找模式时出了问题。但现实恰恰相反，两者之间没有关系。之所以看起来有关系，纯粹是人为因素导致的——哪些结果值得发表是由人决定的。
本质上讲，问题在于论文是否有发表的机会受它所报告的p 值影响。因此，我们一头撞上了选择偏倚的问题。得以发表的那些论文是全部实验的一个有偏差的样本。在文献中，有统计意义的结果被过度表现，而没有统计意义的结果则表现不足。没有产生显著性结果的实验数据最终被科学家扔进文件柜里（现在则是被扔进文件系统中）。这就是所谓的抽屉问题（file drawer effect）。
还记得古德哈特定律吗？“指标变成目标后，就不再是一个好的指标。”从某种意义上说，p 值就具有这个特点。因为p 值低于0.05 对于论文发表来说是必不可少的，所以p 值不再是衡量统计支持的好指标。如果科学论文是否发表与p 值无关，那么p 值仍将是一个有效指标，可以衡量推翻原假设时得到统计支持的程度。但是，由于期刊明显偏好那些p 值低于0.05 的论文，因此p 值已经失去了原先具有的用途。
2005 年，流行病学家约翰·约阿尼迪斯在一篇文章中总结了抽屉问题的后果，这篇文章的标题颇有挑衅性：“为什么发表的研究成果大多是虚假的”。为了解释约阿尼迪斯的观点，我们需要稍微偏离主题，探究一个被称为基率谬误的统计陷阱。
基率谬误
假设你是医生，正在治疗一位担心自己去缅因州钓鱼时染上莱姆病的年轻人。钓鱼归来以后，他感觉很不舒服，但没有莱姆病特有的环形红斑。为了让他放心，你同意检查他的血液中是否有莱姆病致病菌抗体。
令你们沮丧的是，测试结果呈阳性。测试本身相当准确，但也不是100%的准确，有5%的概率出现假阳性。那么，病人患莱姆病的概率有多大呢？
许多人，包括许多医生，都认为答案是大约95%。这是不正确的。没有莱姆病的人检测呈阴性的概率是95%，而你想知道的是检测结果呈阳性的人患莱姆病的概率。事实证明，这个概率很低，因为莱姆病非常罕见。在莱姆病流行的地区，每1000人中只有1人被感染。假设我们检测1 万人，那么可以预计有大约10个真阳性和大约0.05×10 000= 500个假阳性。在那些检测呈阳性的人中，只有不到1/50 的人真的被感染了。因此，即使检测呈阳性，患病概率也不会超过2%。