heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

p-值是什么事件发生的概率?

已有 1049 次阅读 2024-8-12 09:52 |个人分类:统计推断与概率|系统分类:观点评述

所有的零假设显著性检验(NHST)(例如t-检验)都给出了一个概率值,称之为p-值。即然p-值是一个概率值,那么p-值是什么事件发生的概率呢?谢钢老师最近的一篇博文讨论了“如何正确解读p-值”【1】。谢老师在博文中列举了文献中常见的几种对p-值的误解及其澄清。这些对p-值误解的澄清概要如下:

(1)  p-值不是给定数据下原假设成立的概率。

(2)  p-值不是错误地拒绝了原假设的概率。

(3)  p-值不是在给定原假设成立的情况下观察到我们数据样本的概率。

(4)  p-值不表明原假设不太可能成立,也不表明在原假设下发生了罕见事件。

读者可能已经注意到,上述对p-值的解读(误解)都是在零假设显著性检验的语境下进行的。p-值本身只是一个概率值,没有对与错的问题。但是因为p-值是零假设显著性检验(NHST)的成果,而NHST存在逻辑缺陷,所以零假设显著性检验语境下根本不可能正确解读p-值。换句话说,对p-值的所谓“误解”其实是零假设显著性检验的必然结果。只有放弃零假设显著性检验,才能够消除p-值的“误解”。

那么,p-值到底是什么事件发生的概率呢?回答这个问题必须考虑具体的实际问题。考虑实际中经常遇到的一个问题:给定分别取自于两个厂家(1和2)生产的某一产品(例如电池)的两个样本,评估这两个厂家产品的质量(以产品使用寿命做为质量指标),进而决定购买哪个厂家的产品。在零假设显著性检验的范式下,通常采用z-检验或者t-检验得到的p-值来推断两个厂家产品使用寿命均值之间的差别是否“统计显著”。但是如前所述,在零假设显著性检验的语境下无法正确解读p-值。为了解读这个p-值的真正含义,我们可以将z-检验进行如下的分解【2】:

image.png

上式表明单尾z-检验产生的p-值的真正含义是“厂家1产品使用寿命均值的抽样分布小于厂家2产品使用寿命均值的抽样分布”这一事件发生的概率(估计值)。当样本量较大时(n>30),t-检验可以用z-检验来近似。因此,单尾t-检验产生的p-值的含义近似为“厂家1产品使用寿命均值的抽样分布小于厂家2产品使用寿命均值的抽样分布”这一事件发生的的概率(估计值)。解读了p-值的真正含义后,我们发现这个概率值(p-值)并不能帮助我们评估这两个厂家产品之间的质量差异。这是因为p-值随着样本量的增大而减小,无论两个厂家产品使用寿命的平均值如何小(即两个产品没有实质性的质量差异),只要样本量足够大,p-值就可以小于显著性阈值0.05,表明两个厂家产品质量“差异”是“统计显著的”。这显然是不合理的。因此,z-检验或者t-检验产生的p-值不能帮助我们进行科学推断。对这个问题感兴趣的读者可以参见文献【2】。

1】谢钢 2024 假如我们正确地解读p-值,科学网,https://blog.sciencenet.cn/home.php?mod=space&uid=3503579&do=blog&id=144520

【2】Huang H 2022 Exceedance probability analysis: a practical and effective alternative to t-tests  Journal of Probability and Statistical Science 20(1) 80-97 https://www.researchgate.net/publication/366055947_Exceedance_probability_analysis_a_practical_and_effective_alternative_to_t-tests



https://wap.sciencenet.cn/blog-3427112-1446121.html

上一篇:减少垃圾就是减缓熵增
下一篇:“合成概率分布的三种方法以及一种替代随机效应荟萃分析的方法”论文预印本上线
收藏 IP: 104.63.253.*| 热度|

9 郑永军 杨正瓴 宁利中 高宏 冯兆东 何青 孙颉 刘跃 吕健

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-12-2 22:19

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部