世间唯变化永恒...分享 http://blog.sciencenet.cn/u/zlhua 世间唯变化永恒,以开朗的心简洁地生活...

博文

【信息科学研究日志】全信息理论诞生背后的故事 精选

已有 5867 次阅读 2020-4-13 22:27 |个人分类:信息科学原理|系统分类:科研笔记

全信息理论诞生背后的故事

 1948年,美国数学家,贝尔(Bell)实验室的科学家Claude E.Shannon发表论文“通信的数学理论”(Mathematical Theory of Communication),简称“通信论”。该理论用概率统计的方法对通信系统中信源信息、信道容量进行了度量,同时还给出了确保通信系统信息传输有效性和可靠性的编码定理。对于这一具有划时代意义的伟大贡献,人们期望应用推广到更多领域,逐渐便将其称为“信息论”。

到了20世纪下半叶,伴随着通信、计算机、控制这些信息技术分支的发展,随着新的数学工具的陆续问世,智能理论的研究被提上日程。更多领域研究者对“信息论”寄予厚望。作为一位治学严谨、实事求是的科学家,Shannon本人也在IEEE Transactions on Information Theory第二卷头版头条发布专门文章“The Bandwagon”清晰阐述了自己的观点:“近几年,信息论变成了一个时尚的学科,其实它本来只是通信工程师的一种技术工具,现在却无论在普通杂志还是科学刊物都占据重要地位…结果,它已经名过其实…这种声誉孕育着一种危险。诚然,在理解和探讨通信问题的本质方面,信息论是一种有力的工具,而且它的重要意义还将与日俱增。但它肯定不是通信工作者的万灵药;而且对于其他人,则更是如此。应道认识到,一次就能打开全部自然奥秘这种事情是不可能的。否则,一旦人们发现仅仅使用几个像信息、熵、冗余度这样一些动人词汇并不能解决问题的时候,就会灰心失望,那种人为的繁荣就会在一夜之间崩溃…信息论的基本结果都针对某些非常特殊的问题……信息论的核心本质是一个数学分支,是一个严密的演绎系统。因此,透彻地理解它地数学基础及其在通信方面的应用,是在其它领域应用信息论的先决条件。”

我国信息科学家钟义信先生在系统研究了Shannon理论之后认为:将Shannon的“通信论”称为“信息论”是不妥当的。因为在他看来“信息论”应当可以适用于信息的各个分支领域:比如信息的获取(感测)、信息的传递(通信)、信息的处理(认知)、信息的再生(决策)、信息的执行(控制)。Shannon理论虽然在通信领域效用卓著,但在其它领域,比如信息的处理和再生,即认知和决策领域,并不能普遍适用。为了弥补Shannon理论的不足,钟义信先生在系统研究Shannon理论的基础上提出了“全信息理论”。命名为全信息理论的根本原因在于,通信问题需要考虑的是白噪声背景下波形(语法因素)的复制,不需要考虑波形的内容(语义因素)和价值(语用因素)。因此,Shannon理论研究的仅仅是统计型的语法信息,而没有对其它类型的语法信息,以及语义信息和语用信息进行研究。为了研究适用于整个信息(特别是智能)过程的信息理论,钟义信提出全信息理论,对语法、语义和语用信息进行了全面研究。有了这个基础研究,之前相对独立发展的信息的获取(感测)理论、信息的传递(通信)理论、信息的处理(认知)理论、信息的再生(决策)理论、信息的执行(控制)理论被自然地统合成为一个系统地、综合地学科体系。

拓展阅读:钟义信《信息科学原理》第5版 北京邮电大学出版社,2013




https://wap.sciencenet.cn/blog-520919-1228201.html

上一篇:蒙台梭利《生命重要的前三年》
下一篇:【信息科学研究日志】信息科学原理前言摘要~

4 黄永义 张学文 强涛 许培扬

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-5-9 15:40

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部