原始贝叶斯定理建立在条件概率的基础之上。它本质上是条件概率的计算法则。对于连续随机变量，贝叶斯定理的表达式为：
后验概率分布 ∝ 先验概率分布 × 似然函数 (1)
在测量学领域，式（1）被称为reformulated贝叶斯定理，以区别于原始贝叶斯定理。
在式（1）中，先验概率分布表征未知参数的先验信息，似然函数表征当前信息（测量数据），后验概率分布表征后验信息。
如果没有先验信息，原则上先验概率分布不存在，统计推断只能依赖于当前信息（测量数据），也就没有必要采用贝叶斯定理来进行统计推断。这很直观并且符合逻辑。但是贝叶斯统计学要求人们必须采用贝叶斯定理，否则就不成为贝叶斯统计推断。那么问题就来了：在没有先验信息的情况下，如何确定先验概率分布？这时的先验概率分布被称为non-informative prior (a prior that has minimal influence on the inference) 。
根据Jaynes的最大熵原理，均匀分布是在没有任何先验信息情况下的最大熵分布。因此，我们应该采用均匀分布作为non-informative先验概率分布。然而均匀分布对后验概率分布没有任何影响，式（1）退化为：
后验概率分布 = 归一化的似然函数 (2)
式（2）显然是错误的，因为似然函数不是概率分布。关于这一点， Fisher (1921) 【1】 和 Edwards (1992) 【2】 都特别强调过。
产生这个悖论的原因是reformulated贝叶斯定理，即式（1），违反了“自洽运算原则” (the principle of self-consistent operation) 【3】。
根据“概率分布合成定律” (即“信息谱合成定律”) 和“贝叶斯-频率转换规则”，笔者推导出连续随机变量的修正的贝叶斯定理为【3】：
后验概率分布 ∝ 先验概率分布 × 当前概率分布 (3)
如果没有先验信息，先验概率分布不存在，我们可以采用均匀分布作为non-informative先验概率分布，式（3）退化为：
后验概率分布 = 当前概率分布 (4)
当前概率分布可以利用当前信息（测量数据）得到。式（3）遵循“自洽运算原则”。因此，修正的贝叶斯定理不会产生悖论。
参考文献
【1】Fisher R A 1921 On the ‘Probable Error’ of a coefficient of correlation deduced from a small sample Metron I part 4, 3-32
【2】Edwards, A W F 1992 Likelihood (expanded edition) Johns Hopkins University Press Baltimore
【3】Huang H 2022 A new modified Bayesian method for measurement uncertainty analysis and the unification of frequentist and Bayesian inference Journal of Probability and Statistical Science 20(1) 52-79 https://journals.uregina.ca/jpss/article/view/515
转载本文请联系原作者获取授权，同时请注明本文来自黄河宁科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3427112-1428810.html?mobile=1
收藏
