被操纵的P值：科学论文中的数学胡扯丨展卷(7)

当然，这都是理论上的猜测。如果我们真的想衡量发表偏倚的严重性，就需要知道：1）被测试的假设中有多大比例是正确的，2）有多大比例的阴性结果被发表了。如果两个比例都很高，我们就不用担心。如果两者都很低，那就有问题了。
我们曾说，科学家倾向于测试那些大概率是正确的假设。这种大概率可能是10%、50%或75%，但不太可能是1%或0.1%。那发表阴性结果这个方面呢？发表得多吗？在整个科学领域，发表的研究结果中大约有15%是阴性。在生物医学领域，这个比例是10%。在社会心理学领域，这个比例仅为5%。问题是，我们无法从这些数据中得知，这到底是因为心理学家更不可能发表阴性结果，还是因为他们选择了更有可能产生阳性结果的实验。我们真正想知道的不是阴性结果在发表的结果中占的比例，而是阴性结果被发表的比例。
但是，如何才能知道这个比例呢？我们必须想办法调查所有未发表的实验结果，但这些结果往往被扔进了抽屉里。美国食品药品监督管理局（FDA）的埃里克·特纳找到了一个巧妙的方法来解决这个问题。美国的法律规定，任何研究团队，只要进行临床试验（用人作为实验对象来测试治疗结果的试验），都必须向FDA 登记报备，提交文件并解释试验是要测试什么，试验将如何进行，以及结果如何测量。一旦试验完成，团队还需要向FDA 报告试验结果。不过，他们并没有被要求必须在科学期刊上发表研究结果。
这个制度为特纳和同事们统计某一特定研究领域已发表和未发表试验提供了便利。特纳列出了74 个评估12 种不同抗抑郁药物疗效的临床试验，其中51 个试验的结果已经发表，包括48 个阳性结果（药物有效）和3个阴性结果。看到这些已发表的文献后，任何一名研究人员都会认为这些抗抑郁药物通常是有效的。但在调查最初登记的所有实验后，FDA发现情况并不是人们预想的那样。一共74个试验，其中38 个产生了阳性结果，12 个产生了可疑结果，24个产生了阴性结果。看到这些数字，我们有可能得出一个更悲观的结论：似乎只有一部分抗抑郁药物在某些情况下可以起到一定作用。
这是怎么回事？为什么成功率为51% 的临床试验，最终在94% 的发表论文中被报告为成功呢？一个原因是，几乎所有的阳性结果都被发表了，而可疑或阴性结果中只有不到1/2被发表。另一个也是更重要的原因是，在已发表的14 个可疑或阴性结果中，有11 个被重新定义为阳性结果。