精选
今年诺贝尔物理学奖颁给两位研究人工神经网络的学者John Hopfield和Geoffrey Hinton，此举引发了公众和不少学者的热议：
物理学奖为什么会颁给人工智能领域的研究？
看到这样的热议，笔者心中不由得苦笑一下，想起了自己在这方面的研究工作[1-4]也曾遇到这样的疑问：我的研究到底属不属于物理学？
记得2020年-2022年间，我在西南大学经济管理学院给博士研究生开《高级应用数理统计》课，选的主题正是人工神经网络，我选的课程内容依次是：感知机、Hopfield网络、反向传播算法、玻尔兹曼机。
这次得奖的是Hopfield网络和玻尔兹曼机。不是感知机和反向传播算法。
为什么？
如果不懂上面四者的关系，很难理解。也很难理解为什么我会选择它们作为研究生的课程顺序。
下面我简单解释Hopfield网络和玻尔兹曼机两项工作。
John Hopfield其实是理论物理学者出身，只不过他喜欢跨学科研究生物。他将统计物理学中伊辛模型的能量函数用于描述一群神经元的集体行为，然后发现这种“-1,1”二值体系不管如何变动，能量总是趋于减少，直到达到最小值。这种网络就是Hopfield网络，John Hopfield将其联系到大脑的“联想记忆”——记忆点就在最小值，即使偏离最小值（只想起片段）也会回到最小值（恢复全部记忆）。不过，Hopfield网络的缺点是，算法容易陷入局部极小值，无法达到全局最小值。为了克服这个缺点，Geoffrey Hinton想到利用“随机”的方式来找全局最小值——为此他引入了统计物理学中的“玻尔兹曼概率分布”，这就是“退火算法”，这种算法后来被引入量子计算，我在科学网上也做过科普：《量子涨落、量子退火与量子计算机——兼谈基础科学的魅力》。
看到Hopfield网络和玻尔兹曼机的联系后，是不是有点“物理”的感觉了。但是这还不够，因为真正重要的是玻尔兹曼机的蜕变——受限玻尔兹曼机。可能Geoffrey Hinton也没有想到他会因为研究玻尔兹曼机而发现受限玻尔兹曼机。下面我会讲到受限玻尔兹曼机。
事实上，2019年Geoffrey Hinton获得图灵奖时，我在科学网还专门对他的原创性工作“玻尔兹曼机”做过介绍，见《Geoffrey Hinton获得2018年的图灵奖》。玻尔兹曼机是Geoffrey Hinton将物理学中的玻尔兹曼分布借用过来模拟一群神经元集体行为的网络模型，它最早的版本是为改良John Hopfield这次诺奖的原创工作“Hopfield网络”而创建，优点是具有无监督学习特性，缺点是算法高度复杂。后来，Geoffrey Hinton简化了玻尔兹曼机，将其中的神经网络分为“隐层”和“可见层”，这使得玻尔兹曼机更像大脑的神经网络，他把这个简化的版本称为“受限玻尔兹曼机”。与玻尔兹曼机的情况有所不同，Geoffrey Hinton找到了受限玻尔兹曼机的“速算”算法——“对比散度算法”，不久之后这种算法在计算机上得以实现。2006年前后，Geoffrey Hinton将受限玻尔兹曼机和多层神经网络结合起来，首先用对比散度算法对数据做预处理，然后利用他自己创立的“反向传播算法”做精细化调参。这种处理多层神经网络的方式，开启了“深度学习”时代。不过，“对比散度算法”并不是受限玻尔兹曼机的精准算法，只是一种较为“粗糙”的算法，这就导致受限玻尔兹曼机的应用受到很大的限制——只能用于找初值。后来，一些更容易实现反向传播算法的深度网络结构（如卷积神经网络、循环和递归神经网络等）被发现，自此受限玻尔兹曼机便被打入了深度学习领域的“冷宫”。
但不管是卷积神经网络，还是循环和递归神经网络，都与诺贝尔物理学奖没有关系。人工智能学者应该疑问的是：为什么这些更实用的工作没有得诺贝尔物理奖？
这次诺贝尔物理学奖主要奖励的正是John Hopfield的“Hopfield网络”和Geoffrey Hinton的“玻尔兹曼机”！（可观看2024年诺贝尔物理学奖公布的现场解说PPT）
为什么会奖励这两项工作？
要知道人工智能领域里，在“Hopfield网络”之前有“感知机”，在“感知机”之后有“反向传播算法”。实际上，反向传播算法才是人工智能领域最重要的算法，人工智能领域的学者用得最多的也是这个算法——包括卷积神经网络、循环和递归神经网络的运算。
那为什么诺贝尔物理学奖不奖励“感知机”和“反向传播算法”？奖励它们才是授予“人工智能”领域。
实际上，大多数的人工智能学者并不会去深入研究“Hopfield网络”和“玻尔兹曼机”，因为前者涉及统计物理学的“伊辛模型”，后者涉及统计物理学中的“配分函数”。要理解两个模型的机理以及它们之间的联系，需要具备统计物理学的知识背景！
为什么会如此？
因为这两个神经网络本质上是利用物理模型来模拟“智能”，其中涉及到了某种“原理”，而不是只讲求“实用”的算法。
简单来说，今年的诺贝尔物理奖工作是利用统计物理学中的模型来理解生物“智能”的涌现，其中涉及了机理问题——理解“智能”的物理学。
2018年-2021年间，我在这个领域做了一些工作[1-4]，主要是利用统计物理的“第一性原理”将“自我指涉”特征引入进“玻尔兹曼机”，我将这种具有“自指”特征的玻尔兹曼机命名为“自指玻尔兹曼机（Self-referential Boltzmann machine）[2]”。相比之下，Geoffrey Hinton的玻尔兹曼机和受限玻尔兹曼机只是利用玻尔兹曼分布和配分函数来做形式推导，并不涉及物理“第一性原理”。我希望利用物理“第一性原理”生成的“自指玻尔兹曼机”来产生具有“自我意识”的人工神经网络[2-4]。
2021年之后，由于还有其他研究工作要做，我不得不暂时停止了对“自指玻尔兹曼机”的深入研究。不过，2022年时我出版了一部学术专著《涌现秩序：技术与文明的演化》来介绍这种神经网络对人类社会的启示——“社会脑的涌现”[5]。
随着人类对自然界认识的加深，物理学开始进入“复杂系统”领域，在这里还原论不再“战无不胜”。微观与宏观世界的关系在“涌现”的背景下变得更加的扑朔迷离。自此，物理学也进入了新的征程——为理解复杂生命和智能的本质而继续蜕变！
如果您还是不能理解今年的诺贝尔物理学奖，不妨思考下面的问题：
如果要构建一个理解人类大脑“智能”的物理模型，我们应该选择现有文献中的哪个模型作为出发点？
对，是构建物理模型……
我在2018年深入思考之后的答案是[1-4]：
玻尔兹曼机。
参考文献
[1]. Yong Tao. Swarm intelligence in humans: A perspective of emergent evolution. Physica A 502, 436-446 (2018)
[2]. Yong Tao, Self-referential Boltzmann machine. Physica A 545, 123775 (2020)
[3]. Yong Tao, Didier Sornette, and Li Lin, Emerging social brain: a collective self-motivated Boltzmann machine. Chaos, Solitons & Fractals 143, 110543 (2021)
[4]. Yong Tao, Life as a self-referential deep learning system: A quantum-like Boltzmann machine model. Biosystems 204, 104394 (2021)
[5]. 陶勇：涌现秩序——技术与文明的演化. 西南大学出版社（2022）
转载本文请联系原作者获取授权，同时请注明本文来自陶勇科学网博客。
链接地址：https://wap.sciencenet.cn/blog-1253715-1454441.html?mobile=1
收藏
