“信息度理论：一个新颖的概率框架”（The theory of informity: a novel probability framework）论文初稿写成于2023年11月，之后进行了大约十几次修改（预印本的几个版本曾发布于ResearchGate），最近正式发表在《Bulletin of Taras Shevchenko National University of Kyiv, Physics and Mathematics》（基辅塔拉斯·舍甫琴科国立大学学报: 物理与数学）第80卷第1期上【1】。

一、概要 

信息度理论是一种新颖的概率框架，它建立在原始概率空间中(不像香农信息论涉及概率的对数变换)，因此更适用于通信工程以外的领域。在信息度理论中，概率被视为“信息量”，“信息度”则定量地衡量概率系统（即概率分布）包含的平均信息量。信息度的概念直观易懂，符合人们对信息或信息量的常识或感知理解。信息度是概率分布的一个重要属性。它与信息熵相对应，从不同于信息熵的视角来理解概率分布。

二、“信息度”的定义

离散随机变量 X 的信息度 β(X) 定义为概率质量函数P(X)的数学期望，即：

与离散随机变量的信息熵被称为离散熵类似，β(X)被称为离散信息度。离散信息度β(X)与离散熵具有相反的含义。

连续随机变量Y 的信息度定义为概率密度函数 p(Y) 的数学期望，即:

与连续随机变量的信息熵被称为连续熵类似，β(Y) 被称为连续信息度。连续信息度 β(Y) 与连续熵具有相反的含义。【1】中表 1 给出了 12 种概率分布的连续信息度的数学表达式。另外，【1】中还给出了交叉信息度(cross informity)和联合信息度 (joint informity)的定义。

三、“信息度”指标 (informity metric)

信息度可以替代信息熵来评估概率分布。对于给定的一组数据或信息，考虑k个备选概率分布（其参数根据给定的数据或信息估计）。最佳概率分布是具有最大信息度的概率分布。这被称为“最大信息度准则”，即：

“最大信息度准则”对应于“最小信息熵准则”。关于“最小信息熵准则”，参见【2】。

在机器学习中训练决策树时，“信息度增益原理”可以用来在一组候选分割中选择最佳分割。信息度增益定义为：

式中 β_before (X) 是分割之前的信息度，β_after (X) 是分割之后的信息度。最佳分割是信息度增益最大的分割。

四、应用前景

信息度有广阔的应用前景。在通信工程以外的领域，许多信息熵的应用场景可能也适合信息度的应用，甚至应用信息度的效果可能更好。在信息熵不适用的一些场景，信息度也可能适用。例如，笔者利用信息度开发了用于衡量概率分布尾重的新指标【3】，用于衡量两个概率分布之间差异的新指标【4】，以及用于衡量概率分布峰度的新指标【5】。另外，笔者在4篇博文【6、7、8、9】中应用了信息度概念和信息度增益原理。

信息度与信息熵都是概率分布的重要属性。许多概率分布的信息熵的数学表达式已经包含在维基百科中。随着人们对信息度理论的了解和认可，概率分布的信息度的数学表达式也有望包含在维基百科中。

参考文献及相关链接：

【1】  Huang, H. (2025). The theory of informity: a novel probability framework. Bulletin of Taras Shevchenko National University of Kyiv, Physics and Mathematics, 80, 53-59.  DOI: https://doi.org/10.17721/1812-5409.2025/1.7. https://bphm.knu.ua/bphm/article/view/527

【2】  Huang, H. (2023). A minimum entropy criterion for distribution selection for measurement uncertainty analysis.Measurement Science and Technology, 35, 035014,  https://iopscience.iop.org/article/10.1088/1361-6501/ad1476

【3】  Huang, H. (2024). A New Measure of the Tail-Heaviness of a Probability Distribution. Qeios. doi:10.32388/9B8HK9.

【4】  Huang, H. (2024). Two New Indices for Measuring the Difference Between Two Probability Distributions. Qeios. doi:10.32388/ABGI6D.2.

【5】  Huang, H. (2024).  A new index for measuring the peakedness of a probability distribution. ResearchGate, https://www.researchgate.net/publication/379239769_A_new_index_for_measuring_the_peakedness_of_a_probability_distribution

【6】  黄河宁 (2024).  “金字塔原理”探究， 科学网，https://blog.sciencenet.cn/blog-3427112-1424362.html

【7】  黄河宁 (2024). 为什么“少则得，多则惑”？— 以博文贴照片数量为例，科学网，https://blog.sciencenet.cn/blog-3427112-1425271.html

【8】  黄河宁 (2024). 试用“信息度增益原理”解释“图书为何要分章节？”，科学网，https://blog.sciencenet.cn/blog-3427112-1420020.html

【9】  黄河宁 (2024).  “信息分类”与“信息合成”， 科学网，https://blog.sciencenet.cn/blog-3427112-1425787.html

转载本文请联系原作者获取授权，同时请注明本文来自黄河宁科学网博客。

链接地址：https://wap.sciencenet.cn/blog-3427112-1495893.html?mobile=1

收藏

分享