博文
浅谈熵
||
熵就是对不确定性的衡量。信息是有价值的。信息的价值在于减少不确定性。
比如掷筛子，掷一次筛子，猜中的概率是1/6。换个方式问：掷一次筛子，猜几次才能猜中？ 让我猜的话，我可以先问“是大于3还是小于3？”这算一问，回答小于3，“是大于2还是小于2？”，这算第2问。就这样不断的减少不确定性。通过获取信息，减少不确定性，才是信息的价值所在。
熵的计算：假设X是一个离散随机变量，即它的取值范围R={x1，x2...}是有限可数的。设pi=P{X=xi}，X的熵定义为（单位为比特）：
https://wap.sciencenet.cn/blog-545103-849399.html
上一篇：浅谈Google的搜索引擎与奇妙的信息指纹-读《数学之美》有感
下一篇：神奇的幂定律-很多商业现象背后的那只看不见的手
