被操纵的P值：科学论文中的数学胡扯丨展卷

原创 Bergstrom & West 返朴
在零假设显著性检验中，p值是在假设零假设正确的情况下，获得检验结果至少至少与实际观测样本相同极端的样本的概率。学术研究中，研究人员习惯用p值衡量实验数据的可靠性。当p值小于0.05时，意味着仅因偶然性产生的概率小于5%时，结果具有统计显著性。但是，古德哈特定律指出当指标变成目标后，就不再是一个好的指标。P值就有这样的特点，许多研究中的p值并不可靠，甚至是被操纵的结果。

本文经授权转载自《拆穿数据胡扯》（中信出版社，2022.3），标题为编者所加。点击文末“阅读原文”可购买此书。点击“在看”并发表您的感想至留言区，截至4月23日我们会选出两条留言，各赠书一本。
撰文丨卡尔·伯格斯特龙（Carl T. Bergstrom）（美国华盛顿大学生物系教授）、杰文·韦斯特（Jevin D. West）（美国华盛顿大学信息学院副教授）
翻译丨胡小锐
最后，我要对大家提出一个一般性的忠告：想一想追求知识的真正目的是什么；追求知识不是为了心灵的快乐，不是为了争论，不是为了比别人优越，也不是为了利益、名誉、权力或任何这些不重要的东西，而是为了改善生活，为生活所用；用仁爱来完善和管理它。
——弗朗西斯·培根
尽管科学家往往有强烈的好奇心，热衷于解决难题，但他们在大多数方面和其他人一样，都在努力赚钱，都想在同行中出人头地。我们从事科研是希望了解世界如何运转，但我们也想要给我们的朋友和同事留下深刻印象，赢得下一次晋升，并且（如果一切非常顺利） 在《每日秀》或《上周今夜秀》中当一次嘉宾，出一回风头。科学家既寻求真理，也希望得到认可。具体来说，科学家希望人们认可自己是做出某个发现的第一人。这在科学上被称为优先规则。
科学家建立声誉的方法是通过科学论文公开自己的发现，论文的篇幅在2~50 页，得出的结果必须新颖、重要、完整而且正确。论文应该描述以前没有报告过的实验或观察结果。论文报告的成果必须告诉我们一些关于这个世界的、之前不为我们所知的东西——即使作者仅仅是巩固加强了之前的观点，也表明他们实现了这一目的。论文必须与正在进行但已经被认为令科研界感兴趣的研究问题密切相关， 或者令人信服地证明某个新的研究问题具有重要意义。为了完整，论文必须足够详细地描述实验或其他工作，以便该领域的其他专家能够重现这些发现。显然，一篇论文不能误报谎报，不能做毫无根据的推断，也不能提出错误论断。最后，论文的长度必须适中。这是一个惯例问题，在不同领域会有所不同，但它与出版物对研究范围的要求有关。在实验室里一个下午的研究是不足以写一篇论文的，但数年努力取得的成果通常会被分拆成一系列文章。