heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

“信息度理论”简介

已有 1017 次阅读 2024-1-1 11:58 |个人分类:信息度理论|系统分类:论文交流

笔者在文【1】中提出了一个信息度理论”(A theory of informity)。这里简要介绍信息度理的基本内容。

一、“信息度”的定义

β(X) 表示离散随机变量 X 的信息度。信息度 β(X) 定义为 X 的信息-概率系统{X, p(x)}中包含的平均(相对)信息量,即

image.png

式中p(x) 是概率质量函数(PMF)。因此,信息度β(X)是概率质量函数p(x) 的数学期望。与离散随机变量的信息熵称为离散熵类似,β(X)称为离散信息度。离散信息度β(X)与离散熵具有相反的含义。

作为信息度β(X)的说明示例,考虑一个最简单的信息-概率系统:抛掷一枚硬币该信息-概率系统的信息度可以计算为

image.png

1 显示信息度β(X)作为 p(head) 的函数,并与相应的熵进行比较。

image.png

连续随机变量Y 的信息度定义为概率密度函数(PDF) f(y) 的数学期望,

image.png

与连续随机变量的熵称为连续熵类似β'(Y) 称为连续信息度。连续信息度 β'(Y) 与连续熵具有相反的含义。 1 显示了 11 概率分布的连续信息度。

另外,文【1】中还给出了交叉信息度(cross informity)和联合信息度 (joint informity)的定义。

image.png  

二、“信息度”量度 (informity metric)

信息度可以用作评估概率分布的量度。对于给定的数据考虑一组备选概率分布,其模型参数根据给定的数据估计我们可以认为最佳分布是具有最大信息度的分布。这被称为“最大信息度准则”。

fk(y)表示第k个备选分布的概率密度函数(PDF)βk'(Y)表示相应的信息度。最大信息度准则

 image.png

对于机器学习中的决策树分类,可以定义信息度增益为

 image.png

βbefore (X) 是分类之前的信息度,βafter (X) 是分类之后的信息度。一组备选分类中的最佳分类应该是信息度增益最大的分类。

三、信息度理论的应用

文【1】中给出了信息度理论应用的五个例子。这里不再赘述。

四、信息度理概要

信息度理提供了理信息和概率的框架。它建立在原始概率空中,不像香信息理涉及概率的变换。 信息度是信息-概率系统包含的信息的定量度量。 信息度量度可以作为量度的替代。数学概念的概率可以解释为信息(information weight) 连续随机变量的信息度、交叉信息度、联合信息度和信息区是根据模型参数算的,因此它的公式只是概率演算。当模型参数已知,可以算出它的真实值。当模型参数未知并根据数据估计时,根据参数估计值计算的信息度、交叉信息度、合信息度和信息区视为描述性统计量 (descriptive statistics)。因此,信息度理论在实践中的用必然涉及模型参数的点估计,这符合估计统计学 (estimation statistics) 信息度理论可能比香信息理更适合通信工程以外的域。给出的五个例子显示了信息度理实际应用。需要一步的研究来展信息度理论及其应用。

1Huang, H. (2023) A theory of informity, preprint, ResearchGatehttps://www.researchgate.net/publication/376206296_A_theory_of_informity



https://wap.sciencenet.cn/blog-3427112-1416192.html

上一篇:“最小熵准则”与“最大熵原理”--- 回复谢钢博主
下一篇:“信息度理论 (A theory of informity)”预印本更新
收藏 IP: 104.63.253.*| 热度|

8 郑永军 宁利中 王安良 谢钢 孙颉 张学文 杨正瓴 刘跃

发表评论 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-13 13:10

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部