heninghuang的个人博客分享 http://blog.sciencenet.cn/u/heninghuang

博文

“信息分类”与“信息合成”

已有 724 次阅读 2024-3-18 10:42 |个人分类:信息度理论|系统分类:科研笔记

在科学研究中,我们经常要分析和处理各种各样的信息(例如试验数据),撰写学术论文或专著,这些工作都可能涉及“信息分类”和“信息合成”。

一、信息分类

这里的“信息分类”是指根据“金字塔原理”将信息归类分组,搭建一个在“中心思想”统领下的“金字塔结构”【1】 。

image.png

信息度(infirmity)表示系统的平均(相对)信息量,它是系统确定性的量度【2,3】。信息熵表示系统的平均香农信息量,它是系统不确定性的量度。大脑处理或记忆信息的能力与系统的信息度(即确定性)成正比,与系统的信息熵(即不确定性)成反比。信息归类分组后系统的信息度增大,信息熵减小,有助于大脑对信息的处理或记忆。

二、信息合成

这里的“信息合成”是指将“来自不同信息源的相同信息”合成。信息合成的信息学基础是信息谱合成定律(the law of combination of information spectrums)。 信息谱即为随机变量的概率质量函数或概率密度函数。因此,信息谱合成定律又被称为概率分布合成定律(the law of combination of distributions)。对于N个关于Y的连续随机变量(即N个信息源),信息谱合成定律为【2】:

image.png

信息合成系统的信息度增加,信息熵减小,即确定性提高,不确定性减小 。 荟萃分析的本质是信息合成,贝叶斯方法的本质也是信息合成。

参考文献

1芭芭拉·明托著,汪洱译《金字塔原理》(2010) 南海出版公司,https://cdn.jsdelivr.net/gh/AmbroseRen/Picture@master/book/Method/%E9%87%91%E5%AD%97%E5%A1%94%E5%8E%9F%E7%90%86.pdf

2Huang, H. (2023) The theory of informity, preprint, ResearchGatehttps://www.researchgate.net/publication/376206296_A_theory_of_informity

3Huang, H. (2024) 信息度理论简介,科学网, https://blog.sciencenet.cn/home.php?mod=space&uid=3427112&do=blog&id=1416192



https://wap.sciencenet.cn/blog-3427112-1425787.html

上一篇:“比较两个群体或群体平均值的净优越概率” 论文发表并上线
下一篇:再谈“学生氏t-分布”
收藏 IP: 104.63.253.*| 热度|

7 宁利中 何青 孙颉 王成玉 刘跃 高宏 杨正瓴

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-17 02:21

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部