科学网-测度熵 (中条)-陈立群的博文

测度熵 (中条)

2024-2-22 17:53

阅读：1285

测度熵是刻画系统无序程度的数值特征。是信息熵的概念在动力学系统中的应用，在理论上可以用于数值识别混沌。

1958年A.N. 柯尔莫哥洛夫 (Kolmogorov) 引入测度熵的概念。1959年Ya G. 西奈 (Sinai) 进行了改进和完善。熵是起源于热力学中的一个基本概念，作为系统无序程度的量度。在信息论中，人们为刻划系统状态的无知程度或混乱程度，推广了热力学中熵的概念，定义了信息熵。若一个消息的报道由m个概率分别为p₁,p₂,…,p_m的事件组成，则该消息的信息熵为

测度熵1.jpg

其中对数的底可取任何正数。当以2为底时，信息熵的单位为比特；当以e为底时，信息熵的单位为奈特。混沌运动的初值敏感性使得相空间中相邻的相轨线以指数速率分离。如果人们掌握关于某一确定精度的初值信息，则在混沌运动过程中这些信息逐渐丢失，因为相轨线变得不能同起始于其它初值的某些相轨线区分。因此，可以从信息损失的角度刻划混沌运动。

下面将信息熵用于动力学系统，得到测度熵的概念。考虑n维动力学系统，将其相空间分割为N个边长为e的n维小格子。当系统运动时，设相轨线为x(t)。取时间间隔为一小量t。令相轨线在起始时刻t=0在第i₀个格子，t=t 时刻在第i₁个格子，…，t=mt 时刻在第i_m个格子，总的概率为p(i₀,i₁,…,i_m)。当系统运动的相轨线依次出现在第i₀,i₁,…,i_m格子时（简称为系统沿轨迹(i₀,i₁,…,i_m)运动），根据前述信息熵定义，其信息熵为

测度熵2.jpg

I_m₊₁-I_m即是已知系统沿轨迹(i₀,i₁,…,i_m)运动后，要确定相轨迹在时刻落在哪一个格子所需要附加的信息量，也就是从时刻t_m=mt 到t_m₊₁=(m+1)t 时刻的系统运动过程中损失的信息量。据此柯尔莫哥洛夫将单位时间内信息量的损失定义为一种广义熵

测度熵3.jpg

亦即

测度熵4.jpg

对于满足适当条件的动力学系统，上式中的极限存在且与格子的分割无关。这里定义的H称为系统的测度熵，又称为柯尔莫果洛夫-西奈熵。

测度熵的物理意义为运动过程中信息量损失的速率。周期运动完全可以预测，其信息量不随时间发生任何变化，故测度熵为零。随机运动完全不可精确预测，故测度熵趋于无穷大。混沌运动由于其初值敏感性导致相轨迹指数分离，任一微小的初值不确定性都将按某一确定的指数增长率放大，故测度熵为有限正数。

测度熵在混沌的数学描述中起重要作用。然而，由于测度熵的计算一般比较困难，在实际工程问题中出现的动力学系统的应用尚不多。

扩展阅读

A.N. Kolmogorov. A new metric invariant of transitive dynamical systems and automorphisms in Lebesgue space. Doklady Akademii Nauk SSSR, 1958, 119: 861-864.