鲁晨光的科学和哲学研究分享 http://blog.sciencenet.cn/u/lcguang 兴趣:色觉, 哲学, 美学, 进化论,广义信息,投资组合

博文

挑战和改进变分贝叶斯和最小自由能原理——一篇论文发表经历

已有 252 次阅读 2025-7-6 23:58 |个人分类:信息的数学和哲学|系统分类:论文交流

文章标题是:改进最小自由能原理为最大信息效率原理。因为捍卫和反对最小自由能原理的人都很多,这篇文章很难让两派满意。但是,它历经坎坷,最后还是发表了。

先经两位审稿人审稿。虽然两位都赞成算法分析,但是,Reviewer 1赞成改进最小自由能原理,并鼓励我用新理论解释生物自组织。Reviewer 2可能是物理学研究者,他强烈反对,不仅反对我的改进,也反对最小自由能原理,要求我局限于机器学习讨论。不过他对第五节(结合语义信息论和统计物理分析)的苛刻要求 和关于exergy的建议也改进了第五节。先后三次修改后(修改版本包括关于色觉进化和鸟类审美趣味的讨论,中文版见这里),手稿还是被学术编辑拒绝,因为我拒绝了Reviewer 2的基本要求。

但是学术编辑允许我修改再投稿。再投稿保留了关于最小自由能原理相对最大熵原理的进步以及关于生物自组织促进地球有序的讨论,但是删除了关于色觉进化和鸟类审美趣味的讨论(再修改时恢复了一小段文字,说明这是新的研究方向)。第二批审稿人都赞成最小自由能原理,前一位对我的改进评价很高,用了“感谢作者..."这样的词;第二位评价没那么高, 但是也同意修改发表。两位总的意见是:1)不赞成说最小自由能原理和物理学有冲突;2)叙述结构不好。修改主要是:1)改说“最小自由能”容易引起误解;2)把最小自由能原理的两个缺点改成三个缺点(添加了局限性——只用似然函数作为约束)。修改后一次性通过。我在鸣谢中表示了对各位审稿人的感谢,也表示了对熊楚瑜先生的感谢——感谢他五年前提醒我关注最小自由能原理。

 

这篇文章的重要意义在于:最小自由能准则和变分贝叶斯由Hinton等人提出(参看:Helmholtz MachineVB),是无监督学习的理论基础;Friston等人把最小自由能准则发展为最小自由能原理(FEP),“被认为是‘自达尔文自然选择理论后最包罗万象的思想’,从第一性原理出发解释智能体更新认知、探索和改变世界的机制,被认为有可能成为智能的第一性原理的重要候选方案,并有望成为新时代复杂系统的大统一理论。”(见自由能原理:生命、意识与智能的统一原理)。而本文证明 :VB和FEP在理论上有错,容易引起误解,并且应用有其局限性;其进步意义上是比最大熵原理能更好解释和优化生物主观预测和客观事实(或主观目的控制结果)的符合。但是,使用最大信息效率原理能保留其优点克服其缺点。所以本文必将对机器学习、通信、熵理论、神经生物学、进化论等领域产生持久影响。语义信息G理论在它问世后的35年里一直稀有关注,现在必将因 此一战,崭露锋芒,走上学术竞争舞台..



https://wap.sciencenet.cn/blog-2056-1492625.html

上一篇:40年师生缘——回忆汪培庄先生
收藏 IP: 70.66.16.*| 热度|

1 王涛

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-7-9 05:00

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部