大家都知道钟义信教授是中国语义信息论研究的先驱和代表。他30年前就提出全信息研究（研究对象包括语法，语义和语用信息；结合统计和模糊方法），20年前就提出用信息科学指导人工智能，几年前又和汪培庄教授和何华灿教授一起提出统一人工智能的机制主义——用以统一结构主义（神经网络），功能主义（符号逻辑和专家系统）和感知行为控制（行为主义）（参看：http://html.rhhz.net/tis/html/201711032.htm ）。其理论基础就是包括语义信息论的信息生态学。
虽然我对那几个主义的解释有不同看法， 但是我还是相信这一大方向是正确的，从AlphaGo到ChatGPT，很多成功案例都支持这种统一。跟随钟教授研究语义信息论和人工智能相结合的人极少，我是极少人中最积极的一个。我的语义信息论研究见：http://www.survivor99.com/lcg/books/GIT/ 。语义信息论用于机器学习见：http://www.survivor99.com/lcg/CM/Recent.html 。然而，钟教授从来没有谈过我的研究或引用我的文章。原因看来是，我们建立语义信息测度的路线不同。
早在34年前的青岛信息论年会上，钟教授提出用模糊熵加香农熵代替香农熵，建立语义信息测度；而我提出用广义熵减模糊熵建立语义信息测度。从表面看，这两种方法方案的区别是对模糊熵处理不同，但是本质上是：在什么基础上建立语义信息公式？我的方案是在香农互信息公式基础上，用隶属函数和逻辑概率代替log右边的统计概率(见 http://www.survivor99.com/lcg/books/GIT/qt.htm)；而他的方案是在Deluca-Termini模糊熵基础上改进。钟教授最近提供的语义信息公式见：https://doi.org/10.3390/IS4SI-2017-04000 （等式10）.
西方有没有更好的语义信息公式？没有！西方出名的语义信息公式，除了Carnap和Bar-Hillel的语义信息公式I=log(1/逻辑概率)，还有Floridi的语义信息公式（见http://survivor99.com/lcg/books/GIT/bj.htm）。可以说， 无论从理论的角度还是从数学公式的角度，中国都走在前面。
最能说明上述结论的事实是：深度学习最近出现了一个潮流——以互信息神经估计(MINE)和信息噪声对比估计(InforNCE)为代表。而其中使用的估计信息公式就是我三十年前提出的语义信息公式的特例（我也早就用语义信息公式度量估计信息，比如色觉和GPS指针提供的信息）；MINE和InfoNCE使用的学习函数是相似函数，而相似函数是基于统计解释的隶属函数的一种。汪培庄教授40年前就给予隶属函数以统计解释（用随机集落影理论），我于6年前把随机集落影改进为随机点落影，从而从样本分布得到隶属函数。
目前大家对MINE和InfoNCE的成功还不太理解，有人认为是用了最大香农互信息作为目标函数，而有人反对。但是用我语义信息论解释就很清楚。我为此写了篇评论文章：
《回顾学习函数和语义信息测度的进化——进而理解深度学习》
中文见：http://www.survivor99.com/LCG/information/Review-Evolution/index.html
英文见：https://www.mdpi.com/1099-4300/25/5/802
本来我是想在今年的信息科学国际会议上做大会发言交流的，但是特邀发言人没有我，我就直接投稿英文Open期刊Entropy，发表了。编辑很重视，邀请了四位审稿人。他们一致同意修改发表。修改意见之一就是作者介绍自己的理论还不够。我为此补充了不少内容，包括最大互信息分类和混合模型的实验结果，以及有可能简化深度学习的高斯信道混合模型和信道混合模型机。
我相信，这篇文章一定有助于大家理解深度学习——即理解各种学习函数（包括相似函数和Softmax函数），有限波尔茨曼机，划分函数，预训练和微调… 目前，对深度学习的信息论解释中最出名的是Principe等人提出的信息瓶颈理论——只用香农互信息。但是，我的解释应该更有竞争力——我使用R(G)函数解释，R(G)函数是香农R(D)函数的推广，G是语义或估计互信息。本文也有助于理解：怎样的语义信息测度才是适用的。
我和钟教授建立语义信息测度的路线不同，所以说是对立的。但是我们的努力又是统一的，因为我响应了他的号召，我建立了语义信息论和机器学习的具体联系，我的工作是他的补充。也许正是因为这一对立和统一，让中国人在语义信息论方面走在世界前面。希望后继有人。
补充：钟义信教授在最近的文章中表示：语义信息和语法信息及语用信息不是并列的，前者是后两者的抽象，用量化处理是不够的。所以钟义信教授转向语义信息的内容研究。而我继续语义信息的形式（即量的）研究。所以我们的对立应该就此结束，统一则继续。
《回顾学习函数和语义信息测度的进化——进而理解深度学习》目录：
因为Graphical Abstract：
转载本文请联系原作者获取授权，同时请注明本文来自鲁晨光科学网博客。
链接地址：https://wap.sciencenet.cn/blog-2056-1390553.html?mobile=1
收藏
