信息熵，衡量一个分布的不确定性，即对编码的平均长度：

交叉熵，衡量对真实分布的近似分布编码的平均长度：，其意义通过相对熵体现。

相对熵（即KL散度），衡量近似分布与真实分布的接近程度：.

当固定时，交叉熵的最小值是的信息熵。所以相对熵非负。而且KL散度与交叉熵的走势是完全一样的，所以常使用交叉熵作为机器学习中的loss function。

互信息，衡量两个分布是否相关：。

互信息与相对熵形式上很相似，但是含义完全不同。前者验证相关性，作用于一个联合分布的两个边际分布，即中包含的的信息。后者验证同一个样本空间上的两个分布的相似性，即密度曲线的相似性。

可参考博文：https://blog.csdn.net/qq_38406029/article/details/121059974