笔者在文【1】中提出了一个“信息度理论”(A theory of informity)。这里简要介绍信息度理论的基本内容。

一、“信息度”的定义

令 β(X) 表示离散随机变量 X 的信息度。信息度 β(X) 定义为 X 的信息-概率系统{X, p(x)}中包含的平均（相对）信息量，即

式中p(x) 是概率质量函数(PMF)。因此，信息度β(X)是概率质量函数p(x) 的数学期望。与离散随机变量的信息熵被称为离散熵类似，β(X)被称为离散信息度。离散信息度β(X)与离散熵具有相反的含义。

作为信息度β(X)的说明示例，考虑一个最简单的信息-概率系统：抛掷一枚硬币。该信息-概率系统的信息度可以计算为

图 1 显示信息度β(X)作为 p(head) 的函数，并与相应的熵进行比较。

连续随机变量Y 的信息度定义为概率密度函数(PDF) f(y) 的数学期望，即

与连续随机变量的熵被称为连续熵类似，β'(Y) 被称为连续信息度。连续信息度 β'(Y) 与连续熵具有相反的含义。 表 1 显示了 11 种概率分布的连续信息度。

另外，文【1】中还给出了交叉信息度(cross informity)和联合信息度 (joint informity)的定义。

  

二、“信息度”量度 (informity metric)

信息度可以用作评估概率分布的量度。对于给定的数据考虑一组备选概率分布，其模型参数根据给定的数据估计。我们可以认为最佳分布是具有最大信息度的分布。这被称为“最大信息度准则”。

令f_k(y)表示第k个备选分布的概率密度函数（PDF)，β_k'(Y)表示相应的信息度。最大信息度准则为

 

对于机器学习中的决策树分类，可以定义信息度增益为

 

式中 β_before (X) 是分类之前的信息度，β_after (X) 是分类之后的信息度。一组备选分类中的最佳分类应该是信息度增益最大的分类。

三、信息度理论的应用

文【1】中给出了信息度理论应用的五个例子。这里不再赘述。

四、信息度理论概要

信息度理论提供了处理信息和概率的框架。它建立在原始概率空间中，不像香农信息理论那样涉及概率的对数变换。 信息度是信息-概率系统包含的信息的定量度量。 信息度量度可以作为熵量度的替代。数学概念的概率可以解释为信息权重(information weight)。 连续随机变量的信息度、交叉信息度、联合信息度和信息区间是根据模型参数计算的，因此它们的公式只是概率演算。当模型参数已知时，可以计算出它们的真实值。当模型参数未知并根据数据估计时，根据参数估计值计算的信息度、交叉信息度、联合信息度和信息区间被视为描述性统计量 (descriptive statistics)。因此，信息度理论在实践中的应用必然涉及模型参数的点估计，这符合估计统计学 (estimation statistics)。 信息度理论可能比香农信息理论更适合通信工程以外的领域。给出的五个例子显示了信息度理论的实际应用。需要进一步的研究来扩展信息度理论及其应用。

【1】Huang, H. (2023) A theory of informity, preprint, ResearchGate，https://www.researchgate.net/publication/376206296_A_theory_of_informity

转载本文请联系原作者获取授权，同时请注明本文来自黄河宁科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3427112-1416192.html

上一篇：“最小熵准则”与“最大熵原理”--- 回复谢钢博主
下一篇：“信息度理论 (A theory of informity)”预印本更新