||
笔者在文【1】中提出了一个“信息度理论”(A theory of informity)。这里简要介绍信息度理论的基本内容。
一、“信息度”的定义
令 β(X) 表示离散随机变量 X 的信息度。信息度 β(X) 定义为 X 的信息-概率系统{X, p(x)}中包含的平均(相对)信息量,即
式中p(x) 是概率质量函数(PMF)。因此,信息度β(X)是概率质量函数p(x) 的数学期望。与离散随机变量的信息熵被称为离散熵类似,β(X)被称为离散信息度。离散信息度β(X)与离散熵具有相反的含义。
作为信息度β(X)的说明示例,考虑一个最简单的信息-概率系统:抛掷一枚硬币。该信息-概率系统的信息度可以计算为
图 1 显示信息度β(X)作为 p(head) 的函数,并与相应的熵进行比较。
连续随机变量Y 的信息度定义为概率密度函数(PDF) f(y) 的数学期望,即
与连续随机变量的熵被称为连续熵类似,β'(Y) 被称为连续信息度。连续信息度 β'(Y) 与连续熵具有相反的含义。 表 1 显示了 11 种概率分布的连续信息度。
另外,文【1】中还给出了交叉信息度(cross informity)和联合信息度 (joint informity)的定义。
二、“信息度”量度 (informity metric)
信息度可以用作评估概率分布的量度。对于给定的数据考虑一组备选概率分布,其模型参数根据给定的数据估计。我们可以认为最佳分布是具有最大信息度的分布。这被称为“最大信息度准则”。
令fk(y)表示第k个备选分布的概率密度函数(PDF),βk'(Y)表示相应的信息度。最大信息度准则为
对于机器学习中的决策树分类,可以定义信息度增益为
式中 βbefore (X) 是分类之前的信息度,βafter (X) 是分类之后的信息度。一组备选分类中的最佳分类应该是信息度增益最大的分类。
三、信息度理论的应用
文【1】中给出了信息度理论应用的五个例子。这里不再赘述。
四、信息度理论概要
信息度理论提供了处理信息和概率的框架。它建立在原始概率空间中,不像香农信息理论那样涉及概率的对数变换。 信息度是信息-概率系统包含的信息的定量度量。 信息度量度可以作为熵量度的替代。数学概念的概率可以解释为信息权重(information weight)。 连续随机变量的信息度、交叉信息度、联合信息度和信息区间是根据模型参数计算的,因此它们的公式只是概率演算。当模型参数已知时,可以计算出它们的真实值。当模型参数未知并根据数据估计时,根据参数估计值计算的信息度、交叉信息度、联合信息度和信息区间被视为描述性统计量 (descriptive statistics)。因此,信息度理论在实践中的应用必然涉及模型参数的点估计,这符合估计统计学 (estimation statistics)。 信息度理论可能比香农信息理论更适合通信工程以外的领域。给出的五个例子显示了信息度理论的实际应用。需要进一步的研究来扩展信息度理论及其应用。
【1】Huang, H. (2023) A theory of informity, preprint, ResearchGate,https://www.researchgate.net/publication/376206296_A_theory_of_informity
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 10:22
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社