|
信息熵,衡量一个分布的不确定性,即对编码的平均长度:
交叉熵,衡量对真实分布的近似分布编码的平均长度:,其意义通过相对熵体现。
相对熵(即KL散度),衡量近似分布与真实分布的接近程度:.
当固定时,交叉熵的最小值是的信息熵。所以相对熵非负。而且KL散度与交叉熵的走势是完全一样的,所以常使用交叉熵作为机器学习中的loss function。
互信息,衡量两个分布是否相关:。
互信息与相对熵形式上很相似,但是含义完全不同。前者验证相关性,作用于一个联合分布的两个边际分布,即中包含的的信息。后者验证同一个样本空间上的两个分布的相似性,即密度曲线的相似性。
可参考博文:https://blog.csdn.net/qq_38406029/article/details/121059974
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-4-30 07:57
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社