||
原始贝叶斯定理建立在条件概率的基础之上。它本质上是条件概率的计算法则。对于连续随机变量,贝叶斯定理的表达式为:
后验概率分布 ∝ 先验概率分布 × 似然函数 (1)
在测量学领域,式(1)被称为reformulated贝叶斯定理,以区别于原始贝叶斯定理。
在式(1)中,先验概率分布表征未知参数的先验信息,似然函数表征当前信息(测量数据),后验概率分布表征后验信息。
如果没有先验信息,原则上先验概率分布不存在,统计推断只能依赖于当前信息(测量数据),也就没有必要采用贝叶斯定理来进行统计推断。这很直观并且符合逻辑。但是贝叶斯统计学要求人们必须采用贝叶斯定理,否则就不成为贝叶斯统计推断。那么问题就来了:在没有先验信息的情况下,如何确定先验概率分布?这时的先验概率分布被称为non-informative prior (a prior that has minimal influence on the inference) 。
根据Jaynes的最大熵原理,均匀分布是在没有任何先验信息情况下的最大熵分布。因此,我们应该采用均匀分布作为non-informative先验概率分布。然而均匀分布对后验概率分布没有任何影响,式(1)退化为:
后验概率分布 = 归一化的似然函数 (2)
式(2)显然是错误的,因为似然函数不是概率分布。关于这一点, Fisher (1921) 【1】 和 Edwards (1992) 【2】 都特别强调过。
产生这个悖论的原因是reformulated贝叶斯定理,即式(1),违反了“自洽运算原则” (the principle of self-consistent operation) 【3】。
根据“概率分布合成定律” (即“信息谱合成定律”) 和“贝叶斯-频率转换规则”,笔者推导出连续随机变量的修正的贝叶斯定理为【3】:
后验概率分布 ∝ 先验概率分布 × 当前概率分布 (3)
如果没有先验信息,先验概率分布不存在,我们可以采用均匀分布作为non-informative先验概率分布,式(3)退化为:
后验概率分布 = 当前概率分布 (4)
当前概率分布可以利用当前信息(测量数据)得到。式(3)遵循“自洽运算原则”。因此,修正的贝叶斯定理不会产生悖论。
参考文献
【1】Fisher R A 1921 On the ‘Probable Error’ of a coefficient of correlation deduced from a small sample Metron I part 4, 3-32
【2】Edwards, A W F 1992 Likelihood (expanded edition) Johns Hopkins University Press Baltimore
【3】Huang H 2022 A new modified Bayesian method for measurement uncertainty analysis and the unification of frequentist and Bayesian inference Journal of Probability and Statistical Science 20(1) 52-79 https://journals.uregina.ca/jpss/article/view/515
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 08:51
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社