“信息”是一个在日常生活和科学领域中广泛使用的词汇。信息的含义或者定义在不同的领域中可以有很大的不同。

在香农信息论【1】和信息度理论【2】中，信息指的是系统的“状态”或“取值”。对于离散随机变量X，X的“状态”x_i 表示一个信息。例如投硬币试验是一个具有两个状态的系统：正面和反面。我们可以用x₁表示正面，x₂表示反面。

因此，香农信息熵是信息“稀有度对数”的数学期望值。而香农信息论其实是关于信息“稀有度”的理论。香农信息论为通信工程中信息的传输、存储、压缩和处理提供了框架。然而，“香农信息”和信息熵在通信工程以外的领域的使用不符合人们通常对信息和信息量的理解。

在信息度理论【2】中，信息量定义为某状态出现（信息x_i）的概率。对于投硬币试验，如果硬币没有偏差，出现正面和反面的概率均为0.5，因此，正面状态和反面状态的信息量各为0.5。

信息度与信息熵都是概率分布的重要属性。许多概率分布的信息熵的数学表达式已经包含在维基百科中。随着人们对信息度理论的了解和认可，概率分布的信息度的数学表达式也有望包含在维基百科中。

参考文献 

【1】  Shannon, C. E. A mathematical theory of communications. The Bell System Technical Journal, 1948,27, 379-423, 623-656.

【2】  Huang, H. The theory of informity: a novel probability framework.  Bulletin of Taras Shevchenko National University of Kyiv, Physics and Mathematics, 2015, 80(1), 53-59.  DOI: https://doi.org/10.17721/1812-5409.2025/1.

【3】  Huang, H. Information-Weight Interpretation of Probability: A Novel Information-Theoretic Perspective. Preprints. 2025, https://doi.org/10.20944/preprints202508.1430.v1

【4】  屠德雍.信息量悖论”及其有关问题，科学技术与辩证法，2003, 20(2), 23-25.https://www.sinoss.net/uploadfile/2010/1130/4484.pdf