第一次世界大战后，美国有三大电气工程和应用科学的孵化中心。MIT只是其中之一，另外二个分别是贝尔实验室和通用电气公司。当时，布什不懂什么是布尔代数，只称其为“奇怪的代数”。既然这种代数在电路设计上有如此大的功效，为什么不去在其他领域探索一番呢？于是他便让香农试一下能否用在刚刚兴起的遗传学上。那时人们对基因和染色体也说不清。未必用布尔代数能解决这个问题呢？于是香农便去搞遗传学了。他的博士论文题目是《理论遗传学的代数》。说实在的，这是一篇生物学家和数学家都看不懂的论文，而且文章也没发表。只是后来收入在香农的选集中。后来遗传学家也得出香农博士论文中同样的结论，并认为当时如果遗传学家看到这篇论文，可以使这个学科推进好多年，可在当时却无人理会。一种理论的对错并不重要，重要的是你的理论没人懂，因此也就没人理。

 

香农在MIT读博士期间，逐渐开始对通信中的基本问题感兴趣了，并进行了初步研究。从1940~1941年，香农到普林斯顿等研究院做研究员，这才开始认真研究他在通信方面尚不成熟的数学理论。香农于1941年进入贝尔实验室工作，成为一名电器工程师。在香农之前通信的数学理论已经被奈奎斯特与哈特利有所涉及，他们的成果发表在贝尔实验室的内部刊物《贝尔系统技术期刊》，因此香农了解他们的工作。

 

1924年，美国物理学家奈奎斯特发现，如果以一个确定的速度来传输电报信号，就需要一定的带宽，这就是所谓的奈斯奎特定律，即信道的极限速率（码元速率）等于信道宽度（低通信道）的2倍。奈氏的贡献是将信息率与带宽联系了起来。1928年哈特利进一步深化了奈奎斯特的工作，在他的“信息传输”一文中，不仅将“信息”一词作为科学术语提了出来，而起还提出信号（信道）在时间T的持续中的带宽Ω拥有一个自由级的数，即2ΩT，因此该带宽便可以传输最大的信息量。他还定义了等概率N的可能状态等于log2N.前人的工作对香农信息论的思想还都是有影响的。

 

还要提一下图灵。现在计算机科学中的最高奖项就是图灵奖。早在1936年在英国剑桥大学读书的图灵便思考出“不可判定”的问题，而且也提交了论文。然而，美国的普林斯顿大学的阿伦索·丘奇先他一步在《符号逻辑》上也发表了类似的文章。但他们所用的方法各不相同。图灵的导师纽曼认为图灵的方法更简洁，也是可以发表的。可图灵还是决定到美国去读丘奇的博士。后来就有了著名的丘奇-图灵论题。图灵于1936年8月28日给伦敦数学会提交了一份关于他和丘奇之间在方法上的不同之处。于是丘奇于1937年5月在《符号逻辑杂志》发表了一篇只有四段的评论，“一位持有铅笔、纸和一串明确指令的人类计算者可以被视为图灵机。”“图灵机”这个术语从此诞生。

 

图灵比香农年长4岁。他曾于30年代末和40年代初二次来到美国。第一次是读丘奇的博士，第二次是1943年初图灵到美国华盛顿协调英美破译密码的工作。那时图灵已经成功的破解了德军的密码。完成任务后，图灵前往贝尔实验室磐恒了二个月。图灵和香农终于会面了。那时香农也在从事密码工作，他的工作主要是确保罗斯福和丘吉尔的越洋电话不被德国人窃听。他们都是从事密码工作的，所以无法对保密的事情进行交流，但却对机器思维展开讨论。也许这对图灵1950年代写的那篇有关“图灵测试”的文章有所意义。据记载，图灵的确在贝尔实验室发表过关于机器思维的宏篇大论，说他要发明一个有贝尔实验室老板那样的大脑的机器！不知这是不是在讥讽贝尔实验室的老板呢。

 

无论是图灵还是香农都在使用编码，只是图灵是把指令编码成数，将十进制数编码成0和1，图灵使用编码是收敛性的，而香农则是对基因、染色体、继电器和开关编码，他的方法是发散性的。但都把编码应用在了如何将一类事物映射到另一类事物上。譬如，代数函数与机器指令，逻辑运算符与电路。要发现两类事物之间严格的对应关系。符号运算以及映射的思想占据着举足轻重的地位。当然，这种编码转换不是为了遮蔽事实，相反是为了揭示事实。

 

1945年，香农终于完成了“密码术的数学理论”的保密报告。从密码分析的角度看，系统中的有噪通信系统与密码系统没什么不同，数据流故意被弄得表面上看上去是随机的。但事实上绝非如此，否则其中的信号也会丢失。密码也是一种语言，就像日常语言一样，是符合一定模式的东西，易言之，密码深处也具有相应的模式隐匿其中。从语言学的角度出发，当时的语言学家就是试图从语言含糊不清而又连绵不断的形状和声音中找出其结构。语言学家萨丕尔（E. Sapir）在1921年的名著《语言论》中便论述道：“单个语音并不是言语的实质性事实；语言的实质性事实毋宁说在于思维的分类、形式模式……语言，作为一种结构来看，它的内部是思维的模具。”多么精致的描述，语言的特质是“思维的模具”！香农的任务就是需要找到比日常语言更有形，更易数的方式来描述语言这种“思维的模具”。

 

也就是在这篇保密报告中，香农几乎随意使用了先前无人用到过的说法，这就是“信息论”（Information Theory）。要想建立用数学建立信息论的理论，香农首先要做到将信息中的“意义”去除。这个打了引号的“意义”是香农自己加上的。他曾高兴地说，对于信息论而言，可以不去考虑“意义”的问题。之所以在用数学的语言描述的信息论中剔除“意义”的目的，在于使自己的研究更加清晰明确。他需要把握的是“信息”而非“意义”，在此之前奈斯奎特和哈特利都注意到了这一点，香农也希望将信息集中在“物理”层面，排除其中的“心理因素”。可是，抽去语义的信息还会剩下什么呢？对这个难题，有几种可能的回答，例如信息可以是不确定性，是困难程度，也可以是熵。

 

香农的信息论开创新时代的数学理论。是关于“通信的”数学理论。作为普通人，似乎会认为通信的基本问题是让自己的意图被人所理解，传递的是意义。可对于数学家的香农而言，则大错特错了。他认为：“通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。”香农所说的“点”（point）是经过选择的。它意味着，讯息的信源和信宿可在时间上相分隔。同时，讯息并非创造出来的，而是选择出来的。换句话说，一条讯息就是一个选择，选择可以多种多样。当然，香农还是不能不考虑到意义的问题，可作为数学家，他还是将其拒斥在数学门外：

 

这些讯息往往都带有意义，即根据某种体系，它们指向或关联了特定的物理或概念实体。但通信的信息工程方面和语义无关。

 

香农仅仅从数学的角度解释信息，常常被人所诟病。认为他的信息论是狭隘的。对信息的诠释过于狭窄。那么从语言学上讲，香农的信息论考虑的只不过是语形学，而非语义学，更谈不到语用学了。这就为信息哲学做了铺垫。香农自己都承认，语形学（形式）要对应于语义（内容）才有意义。然而，作为数学家完全无需考虑内容的问题。可是作为哲学家，则必须考虑意义。

 

香农的通信模型很简单，如下图。可是这个图以后却不断有人根据自己的需要进行改进。万变不离其宗而已。

 

香农曾与冯·诺依曼（J. von Neumann）讨论过他的工作，冯·诺依曼比香农年长13岁，是香农最佩服的人之一。“熵”是信息论中最基本最重要的一个概念，香农最初想用“信息” （information） 来表达这一概念，但这个词当时已经被用滥了。香农便放弃用信息这个词。冯·诺依曼建议香农用“熵”；并给出二个理由：一是香农原本想用的“不确定性”（uncertainty）这个概念已经用于统计力学，二是没人知道“熵”倒底是什么，用它不会引起争论。不过冯·诺依曼毕竟见多识广，他早就知道“熵”已被用于热力学系统，但却仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好地得到解释。正如所料，“熵”这一概念被延伸到信息论后，其本质才逐渐被解释清楚，信息论对熵的本质的解释就是“系统内在的混乱程度”。

最终，香农采纳了冯·诺依曼的建议，在信息论中提出了“信息熵”或“香农熵”的概念，解决了信息的量化度量问题。一条信息的信息量大小和它的不确定性有直接关系。例如，我们要弄清楚一件很不确定的事情，或者我们一无所知的事情，就需要大量的信息。相反，如果我们对某件事已经有了较多的了解，就无需太多的信息就够了。所以，从信息论的角度看，信息量的度量等于不确定性的多少。香农熵的数学表达式很简洁：

 

 

香农在其《通信的数学理论》中引入“比特”（bit）的观念。“比特”是音译，是英文的binary digit（二进制数字）的缩略词。确切地说就是0和1这二个数字。在计算机的专业术语中，比特被称其为信息量（amount of information），二进制数的一位所包含的信息就是1比特，如二进制数0101的信息量，就是4比特。在二进制数字中的位中，“比特”所代表的都是信息的度量(measure of information)。香农在其文章的原话为a unit for measuring information.他说，bit这个词此前是由J. W. Turkey建议的。Turkey虽然在1946年或1943年提出了这个名称，但并为引起人们的重视。该术语首次被正式使用是香农。

 

香农为通信系统建立了一整套数学理论。他的理论涉及整个通信过程，包括通信源头、数据压缩、信道编码、信道噪声、解调、检错、纠错等。该理论关注了最佳通信系统的性能和接近该性能的方法。1948年瓜熟蒂落，信息论诞生。香农的关于信息论的文章于1948年分二期发表在《贝尔系统技术期刊》上。这份出版物几乎没有什么图书馆订阅，类似于我们今天某单位的内部参考之类。当时的研究人员几乎是靠口口相传的蠢笨方式获知香农的工作。于是就纷纷给香农直接写信索要该文的复印本。即便如此，也没几个人能读懂香农的文章。原因是工程师认为该文数学内容太深了；数学家又对文章中的工程学背景缺乏了解。

 

但毕竟还是有慧眼识珠的人物。时任洛克菲勒基金会自然科学部主任的韦弗（W. Weaver）认识到该文的价值。他告诉基金会的主席，香农之于通信理论的贡献，就如同“吉布斯之于物理化学”。1949年，韦弗在《科学美国人》杂志发表了一篇不是很技术化的赞誉香农工作的普及文章，深入浅出地介绍了香农工作的重要性。之后韦弗的文章和香农的论文被集结成书，《信息的通信理论》的问世改变了一个时代！

转载本文请联系原作者获取授权，同时请注明本文来自刘钢科学网博客。
链接地址：https://wap.sciencenet.cn/blog-105489-1282306.html

上一篇：摄友
下一篇：榆叶梅