博文
信息论应该创新了（110209）
|||
信息论应该创新了（110209）
闵应骅
大家知道，信息论的祖师爷是申农（Claude Elwood Shannon (1916-2001，享年85岁))，被誉为“信息论之父”。他这个“XX之父”可不是媒体封的，也不是某一个国家封的，而是全世界公认的，好像没有人提出过异议。到老年，他在麻省的老家养老，从不过问美国的科技战略，似乎每年接受一次IEEE或ACM的记着访问。1948年他是贝尔实验室的电气工程师，发表“通信的数学理论”一文，定量地给出了数据压缩、存储和传递的限制；他为高速通信、文件压缩和数据转换，直至现在的因特网铺平了道路。所以他不愧为信息论之父。但是，信息论需要原创性的发展。据今年2月CACM报道，美国自然科学基金委列了一个五年的2500万美元大题目，研究后申农时代的信息论。这个题目的领导人是普渡大学的计算机科学教授Wojciech Szpankowski，在普渡大学建立了一个信息科学中心，包括美国9所大学的40名研究人员。
他们要研究些什么？在什么地方创新信息论呢？据该文报道，大概有几方面，略述如下。
1。信息是什么？
申农的信息论认为信息包含一些信息位，以减少从信息源通过信道传给接收者的统计不确定性。它让工程师能够去定义无损和有损信道的能力，以及数据压缩的上限。申农信息论忽略消息的意义，只关心这些0，1码子是否能正确传输，不关心信道的物理性质。从信息论的观点看，在电话线上和在纤维光缆上的信息是一样的。接收者允许无限的时间延迟，去接收和识别一个信号。60多年过去了，信息的定义需要创新。信息应该可以测度它是否有助于接收者完成某一个目的。因此，必须考虑语意、空间和时间因素。譬如一个等火车的人在下午2：00收到一个消息，说火车已经在下午1：00开走了。这个消息本质上不包含信息。在无线网上，信息随传输时间而变，因为接收者已经移动了。譬如汽车已经过了交叉路口，你再让它左拐，已经没有意义了。我们根本不理解因特网网上传输着多少信息，因为我们不懂得信息的时间特性。
2。压缩和数据传送的极限
谈到信噪比，有一大堆数学。但是，对声音和图像，没有保真度的最好测度。一般来说，人脑能够容允视觉噪声，但对于某些类型的噪声却很敏感。譬如，识别图像时，清晰的边缘比颜色更重要。问题不在于用多少0，1位，而在于在有损压缩中，哪些位是保真的关键。所以，有些位是容差错的，而另一些位却不能。
3。结构信息的压缩极限
有多少信息是包含在结构中？蛋白质的运动很不相同，传递不同的信息，决定于它的形状。科学家希望建立计算机模型，来帮助理解结构是如何影响细胞发育和疾病产生的。这时，在数学上，结构元素，像顶点和边，需要增加若干维。就是因为我们不知道结构中包含的信息，我们说不清楚，为什么一个汽车远比一辆自行车复杂。
4。多发送和多接收
申农的信息论对点对点的通信，或者多发送、单接收是有效的。但是，要是有两个发送、两个接收，就有串扰的问题。接收者可能收到不该由他接收的信号。在Mesh网络和移动通信，以及小型天线的高频传输中都不是点对点的。我们并不知道，在噪声情况下，能够可靠传输多少信息的最终的上限是多少。
5。量子信息和量子计算
经典的信息是0和1的集合，而量子信息是一个连续统。量子计算中的量子位可以取0和1，以及它们之间无穷可能的值。经典信息可以复制，而量子信息不能。在这种情况下，信息是什么？怎么弄懂这样的信息？它怎么来，怎么处理？
6。信息论在经济领域有用吗？
经济学家关心，信息论是否可以在经济上有所应用。理论上，中央银行改变利率或现金储备，价格应该很快变化。但实际上不一定。为什么？因为人们处理数据的能力有限，如果信息不超过某一个限度，他们不会对信息做出反应。人们要权衡减少不确定性和处理信息的代价。譬如，增息太少，就不值得去费那劲。有人说这叫“有理疏忽”。经济学与信息论紧密相关。
说这些空洞的设想并不难，也许还可以列出许多。但是，基于一个理论，就这些问题推导出某些结论，绝非易事。这就是科学大家要做的事，就像当年申农所做的那样。对于年青的学者们，要想研究这个问题，我建议还是先去读读申农的原著，然后去思考，他是怎么引人新概念、得出新结论的。不要乞求全解决，解决一个小问题就很好。最好不要夸夸其谈，大谈感想性的东西，没有科学结论。
https://wap.sciencenet.cn/blog-290937-411440.html
上一篇：科研成果转化与产业化（110126）
下一篇：一个新词Crowdsourcing（110212）
闵应骅
大家知道，信息论的祖师爷是申农（Claude Elwood Shannon (1916-2001，享年85岁))，被誉为“信息论之父”。他这个“XX之父”可不是媒体封的，也不是某一个国家封的，而是全世界公认的，好像没有人提出过异议。到老年，他在麻省的老家养老，从不过问美国的科技战略，似乎每年接受一次IEEE或ACM的记着访问。1948年他是贝尔实验室的电气工程师，发表“通信的数学理论”一文，定量地给出了数据压缩、存储和传递的限制；他为高速通信、文件压缩和数据转换，直至现在的因特网铺平了道路。所以他不愧为信息论之父。但是，信息论需要原创性的发展。据今年2月CACM报道，美国自然科学基金委列了一个五年的2500万美元大题目，研究后申农时代的信息论。这个题目的领导人是普渡大学的计算机科学教授Wojciech Szpankowski，在普渡大学建立了一个信息科学中心，包括美国9所大学的40名研究人员。
他们要研究些什么？在什么地方创新信息论呢？据该文报道，大概有几方面，略述如下。
1。信息是什么？
申农的信息论认为信息包含一些信息位，以减少从信息源通过信道传给接收者的统计不确定性。它让工程师能够去定义无损和有损信道的能力，以及数据压缩的上限。申农信息论忽略消息的意义，只关心这些0，1码子是否能正确传输，不关心信道的物理性质。从信息论的观点看，在电话线上和在纤维光缆上的信息是一样的。接收者允许无限的时间延迟，去接收和识别一个信号。60多年过去了，信息的定义需要创新。信息应该可以测度它是否有助于接收者完成某一个目的。因此，必须考虑语意、空间和时间因素。譬如一个等火车的人在下午2：00收到一个消息，说火车已经在下午1：00开走了。这个消息本质上不包含信息。在无线网上，信息随传输时间而变，因为接收者已经移动了。譬如汽车已经过了交叉路口，你再让它左拐，已经没有意义了。我们根本不理解因特网网上传输着多少信息，因为我们不懂得信息的时间特性。
2。压缩和数据传送的极限
谈到信噪比，有一大堆数学。但是，对声音和图像，没有保真度的最好测度。一般来说，人脑能够容允视觉噪声，但对于某些类型的噪声却很敏感。譬如，识别图像时，清晰的边缘比颜色更重要。问题不在于用多少0，1位，而在于在有损压缩中，哪些位是保真的关键。所以，有些位是容差错的，而另一些位却不能。
3。结构信息的压缩极限
有多少信息是包含在结构中？蛋白质的运动很不相同，传递不同的信息，决定于它的形状。科学家希望建立计算机模型，来帮助理解结构是如何影响细胞发育和疾病产生的。这时，在数学上，结构元素，像顶点和边，需要增加若干维。就是因为我们不知道结构中包含的信息，我们说不清楚，为什么一个汽车远比一辆自行车复杂。
4。多发送和多接收
申农的信息论对点对点的通信，或者多发送、单接收是有效的。但是，要是有两个发送、两个接收，就有串扰的问题。接收者可能收到不该由他接收的信号。在Mesh网络和移动通信，以及小型天线的高频传输中都不是点对点的。我们并不知道，在噪声情况下，能够可靠传输多少信息的最终的上限是多少。
5。量子信息和量子计算
经典的信息是0和1的集合，而量子信息是一个连续统。量子计算中的量子位可以取0和1，以及它们之间无穷可能的值。经典信息可以复制，而量子信息不能。在这种情况下，信息是什么？怎么弄懂这样的信息？它怎么来，怎么处理？
6。信息论在经济领域有用吗？
经济学家关心，信息论是否可以在经济上有所应用。理论上，中央银行改变利率或现金储备，价格应该很快变化。但实际上不一定。为什么？因为人们处理数据的能力有限，如果信息不超过某一个限度，他们不会对信息做出反应。人们要权衡减少不确定性和处理信息的代价。譬如，增息太少，就不值得去费那劲。有人说这叫“有理疏忽”。经济学与信息论紧密相关。
说这些空洞的设想并不难，也许还可以列出许多。但是，基于一个理论，就这些问题推导出某些结论，绝非易事。这就是科学大家要做的事，就像当年申农所做的那样。对于年青的学者们，要想研究这个问题，我建议还是先去读读申农的原著，然后去思考，他是怎么引人新概念、得出新结论的。不要乞求全解决，解决一个小问题就很好。最好不要夸夸其谈，大谈感想性的东西，没有科学结论。
https://wap.sciencenet.cn/blog-290937-411440.html
上一篇：科研成果转化与产业化（110126）
下一篇：一个新词Crowdsourcing（110212）
