heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

试用“信息度增益原理”解释“图书为何要分章节?”

已有 896 次阅读 2024-1-31 11:23 |个人分类:信息度理论|系统分类:科研笔记

武夷山老师的博文图书为何要分章节1】介绍了美国哥伦比亚大学人文学教授Nicholas Dames(尼古拉斯·达姆斯)的著作《篇章:分节讲述从古代到21世纪的故事》。达姆斯教授回顾了2000年来篇章随着文体的变迁和出版技术的进步缓慢演化,认为篇章设置的意义在于对我们的阅读体验赋予时间维度

无容置疑,图书分章节有助于读者阅读和掌握图书包含的信息。正巧笔者最近在研究信息度理论(informity theory)2、3】,于是猜想是否可以从信息度增益的角度来定量分析“图书为何要分章节?”的问题。信息度理论,信息量被定义为概率。任何信息-概率系统的总信息量为1。信息度被定义为系统内信息量的数学期望(即系统的平均信息量)。根据信息度增益原理:将一个原始信息-概率系统分割成m个子系统后,所有子系统信息度加权平均值大于或等于原始信息-概率系统的信息度。

我们可以将一本不分章节的图书看作是一个原始信息-概率系统,将图书分成m章后,每一章成为一个子系统。设某图书讨论10个问题。我们分别考虑3种情况建立信息度增益模型”

image.png

image.png

显然,分成10章图书的信息度增益最大,也即平均信息量最大。必须说明,以上的“信息度增益模型”是一个非常简化的模型,希望起到抛砖引玉的作用。

信息度增益原理可以用于在机器学习中训练决策树时在一组备选分类中选择最佳分类,文【3】给出了一个例子。信息度增益原理也可以解释为什么科学要分成许多学科,而且学科分的越来越细,因为分学科后信息度增加。其实任何分类(包括分学科)本质上都是为了信息度增益

参考文献

1武夷山 2023)图书为何要分章节,科学网,https://blog.sciencenet.cn/blog-1557-1415734.html

2Huang, H. (2024) 信息度理论简介,科学网, https://blog.sciencenet.cn/home.php?mod=space&uid=3427112&do=blog&id=1416192

3Huang, H. (2023) The theory of informity, preprint, ResearchGatehttps://www.researchgate.net/publication/376206296_A_theory_of_informity



https://wap.sciencenet.cn/blog-3427112-1420020.html

上一篇:从信息损失的角度评估“学生氏t-分布”及“scaled and shifted t-分布”
下一篇:用非贝叶斯方法求解一个引发科学网7年前一场大辩论的概率问题
收藏 IP: 104.63.253.*| 热度|

6 杨卫东 尤明庆 宁利中 孙颉 杨正瓴 刘跃

发表评论 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-25 07:53

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部