||
“信息度理论:一个新颖的概率框架”(The theory of informity: a novel probability framework)正式发表在《Bulletin of Taras Shevchenko National University of Kyiv, Physics and Mathematics》(基辅塔拉斯·舍甫琴科国立大学学报: 物理与数学)第80卷第1期上。
摘要如下:
本文提出了一个新颖的概率框架,称为信息度理论。我们定义了一个称为“信息度”的数学量来定量衡量概率分布(或概率系统)的信息量。我们还定义了另外两个量:交叉信息度和联合信息度。我们提出了一个信息度度量,可以用作熵度量的替代。文中给出了十二个连续分布的信息度。并通过三个示例来证明所提信息度度量的实用性。
结论如下:
所提出的信息度理论(一种新颖的概率框架)建立在原始概率空间中;它不像香农信息论那样涉及概率的对数变换,因此更适用于通信工程以外的领域。“信息度”这一数学量定量地衡量了概率系统的信息量程度。信息度的概念直观易懂,与我们对信息或信息量的常识或感知理解相符。信息度是概率分布的一个重要属性。它与熵相对应,并从不同于熵的视角来理解概率分布。我们已经推导出十二个连续分布的信息度。更多分布的信息度有待推导。此外,正如分布的熵通常包含在维基百科中一样,分布的信息度也可能包含在维基百科中。
所提出的信息度度量可以用作熵度量的替代方案。对于给定的一组数据或信息,所提出的最大信息度准则可用于在一组候选分布中选择最佳分布。在机器学习中训练决策树时,所提出的最大信息度增益准则可用于在一组候选分割中选择最佳分割。给出的三个示例证明了所提出的信息度度量的实用性。
作者预计所提出的信息度理论将具有广泛的应用前景。目前,作者已利用所提出的信息度理论开发了一个用于衡量概率分布尾重的新指标(称为尾重指数)、两个用于衡量两个概率分布之间差异的新指标(一个称为“分布相似性指数(DSI)”,另一个称为“分布差异性指数(DDI)”),以及一个用于衡量概率分布峰度的新指标(称为峰度指数)。描述这些进展的稿件已作为预印本发布在 ResearchGate 上。需要进一步研究来扩展和增强所提出的信息度理论及其应用。
感兴趣的读者可以访问如下页面阅读或者下载:
https://bphm.knu.ua/bphm/article/view/527
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2025-7-18 15:26
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社