今年的诺贝尔物理学奖一公布，瞬间在物理学界和AI学界引起了地震般的轰动。有些人大喊AI不是物理学，还有一些人欢呼物理学奖颁给了AI。次日诺贝尔化学奖公布后，AI学界更是一片欢呼，说“化学奖又颁给了AI”。诺贝尔物理化学奖真的是给了AI吗？
实际上，说诺贝尔物理学奖颁给AI学者是没有毛病的，但说物理学奖颁给了AI则是一种误解。两位诺贝尔物理学奖得主约翰·J·霍普菲尔德 (John J. Hopfield) 和杰弗里·E·辛顿 (Geoffrey E. Hinton)是AI学者没错，获奖理由瑞典皇家科学院是这样说的：
"for foundational discoveries and inventions that enable machine learning with artificial neural networks"。
从字面来看，表彰他们的基础性发现和发明，that enable machine learning with artificial neural networks，这些基础性发现和发明使得通过人工神经网络实现了机器学习！
诺贝尔奖官网新闻（Press -release）较详细的介绍了AI学者与物理学的关联：“今年的两位诺贝尔物理学奖得主使用了物理学的工具，为当今强大的机器学习方法奠定了基础。John Hopfield创建了一种联想记忆，可以存储和重构图像，或其他类型的数据模式。Geoffrey Hinton发明了一种可以自动发现数据中属性并执行任务的方法，例如识别图片中的特定元素。 John Hopfield发明了一种网络来保存和重现数据模式。我们可以将节点想象为像素。Hopfield网络利用了描述物质特性的原子自旋——该性质使得每个原子都可看作一个小磁铁。网络的整体结构则可等价地用物理学中自旋系统的能量来描述，并通过寻找节点之间的连接值来训练，使得保存的图像具有较低的能量。当Hopfield网络接收到一个失真或不完整的图像时，它逐步处理节点并更新其值，以降低网络的能量。通过这种方式，网络就可一步步找到与输入的失真图像最为相似的图像。 Geoffrey Hinton以Hopfield网络为基础，开发了一种基于新方法的网络：玻尔兹曼机（Boltzmann Machine）。该网络可以学习识别某一类数据中具有特征的元素。Hinton使用了统计物理学的工具，这是研究由许多相似组分组成的系统的科学。玻尔兹曼机通过输入在机器运行时非常可能出现的示例进行训练。它可以用于对图像进行分类或创建与其训练模式相似的新示例。Hinton在此基础上继续研究，推动了当前机器学习爆炸式的发展。”
在更为专业的诺贝尔奖（advanced-physicsprize）官方介绍是这样的：
（https://www.nobelprize.org/uploads/2024/09/advanced-physicsprize2024.pdf）
“理论物理学家约翰·霍普菲尔德是生物物理学领域的一位杰出人物。他在20世纪70年代的开创性工作研究了生物分子之间的电子转移[11]和生化反应中的纠错（动力学校对）[12]。
1982年，Hopfield发表了一个基于简单递归神经网络的联想记忆动态模型[13]。集体现象经常出现在物理系统中，如磁系统中的畴和流体流动中的涡流。“
......
“ 通过创建和探索上述基于物理的动态模型——不仅是里程碑式的联想记忆模型，还有随后的模型——Hopfield为我们理解神经网络的计算能力做出了基础性的贡献。
1983年至1985年，Geoffrey Hinton与Terrence Sejnowski和其他同事一起开发了1982年Hopfield模型的随机扩展，称为玻尔兹曼机[23,24]。
......
玻尔兹曼机是一种生成模型。与Hopfield模型不同，它侧重于模式的统计分布，而不是单个模式。它包含与要学习的模式相对应的可见节点以及额外的隐藏节点，其中包含后者以对更一般的概率分布进行建模。”
......
“结束语
Hopfield和Hinton开发的开创性方法和概念在塑造人工神经网络领域方面发挥了重要作用。此外，Hinton在将方法扩展到深度和密集的人工神经网络方面发挥了主导作用。
他们的突破建立在物理科学的基础上，为我们展示了一种全新的方式，即利用计算机来帮助和指导我们应对社会面临的许多挑战。简单地说，由于他们的工作，人类现在有了一个新的工具箱，我们可以选择将其用于良好的目的。基于人工神经网络的机器学习目前正在彻底改变科学、工程和日常生活。该领域已经在实现建设可持续社会的突破，例如通过帮助确定新的功能材料。人工神经网络的深度学习在未来将如何使用取决于我们人类如何选择使用这些已经存在于我们生活的许多方面的极其强大的工具。”
从官方解读我们不难理解今年的诺贝尔物理奖是（Physics）Science for AI，而诺贝尔化学奖则是AI for Science。Science for AI 极大促进了AI的发展，而AI for Science则彻底改变了科学研究的范式。诺贝尔物理学委员会主席Ellen Moons说道：“诺贝尔奖得主的工作已经产生了巨大的益处。当今物理学许多领域正在使用人工神经网络，例如开发具有特定特性的材料”。
下面我们深度分析下Hopfield Network和玻尔兹曼机的物理学基础。这两个模型都是基于能量的模型。而统计物理学原理，便是这两者的核心。它们都使用来自统计力学的能量函数，来建模和解决与模式识别和数据分类相关的问题。在前者当中，能量函数被用来寻找与所存储的模式相对应的最稳定状态。后者中，能量函数通过调整节点之间连接的权重来帮助学习数据的分布。
前些年在我们在研究神经网络结构自动组织与演化问题时，便注意到Hopfield Network和玻尔兹曼机模型的起源。
Hopfield network源于统计物理里的Ising model和spin glass model。
伊辛模型（Ising model）是一类描述物质相变的随机过程（stochastic process）模型。物质经过相变，要出现新的结构和物性。发生相变的系统一般是在分子之间有较强相互作用的系统，又称合作系统。
伊辛模型所研究的系统由多维周期性点阵组成，点阵的几何结构可以是立方的或六角形的，每个阵点上都赋予一个取值表示自旋变数，即自旋向上或自旋向下。伊辛模型假设只有最近邻的自旋之间有相互作用，点阵的位形用一组自旋变数来确定。常见的二维伊辛模型示意图使用箭头方向表示自旋方向。
伊辛模型由德国物理学家威廉·楞次（Wilhelm Lenz）在1920年提出以描述铁磁性物质的内部的原子自旋状态及其与宏观磁矩的关系。1924年，楞次的学生Ernst Ising求解了不包含相变的一维伊辛模型 。20世纪30-40年代，劳伦斯·布拉格（Lawrence Bragg）、E. J. Williams、汉斯·贝特（Hans Bethe）、Rudolf Peierls等学者使用平均场近似理论（mean-field theory）对二维伊辛点阵模型（two-dimensional square-lattice Ising model）进行了研究。1944年美国物理学家拉斯·昂萨格（Lars Onsager）得到了二维伊辛模型在没有外磁场时的解析解，即Onsager解。
图 二维伊辛模型示意图。
对这样一个自旋向上或者向下的晶格，邻近的自旋会互相影响：如果围绕s_i点的自旋都是向上的，那它也会是向上的。参照位置i处的自旋为si。自旋只能处于两种状态中的一种：向上（si=+1）或向下（si=-1）。再我们引入相互作用参数J，用物理学的直觉来推论出自旋会相互吸引（它们想指向相同的方向）或相互排斥（它们要指向相反的方向）。这个J参数描述了自旋i和自旋j之间的交互强度。如果两个相邻自旋指向相同的方向，我们用-J来表示它们交互的总能量；如果指向相反的方向，则用J来表示。
然后我们就可以得到系统的能量方程，或者叫哈密顿量：
如果自旋i和自旋j相邻，J_ij=J；反之J_ij=0。因子1/2是考虑到i和j求和时候的重复计算。注意系统的自旋是有限多的（N个自旋）。
自旋组态或者系统的状态是所有自旋的特定值的组合。集合{s_1=+1，s_2=+1，s_3=−1，...，s_N=+1}是组态的一个例子。
热力学第二定律告诉我们在固定温度和熵的情况下，系统会寻求最小化其能量的组态方法。这让我们可以推理出相互作用的情况。
如果相互作用强度J为零，自旋之间没有交互联系，所有组态的系统能量也为零（能量小到可以忽略不计）。但如果强度J为正，自旋会按照某种规则排列起来使系统的能量E(s1，s2，...，sN)最小。由于能量方程中求和前面的负号，这便与最小化一致。
然后引入磁场H。假定自旋的晶格在磁场中，比如地壳周围的磁场。磁场对每个自旋单独作用，每个自旋都会试图与磁场方向保持一致。我们可以加入每个自旋的作用的求和项来表示系统在磁场中的能量方程：
Hopfield将一些重要的思想结合起来并进行了简要的数学分析（包括Lyapunov稳定性定理的应用）。他指出了神经网络与统计物理学中磁性材料的Ising模型的相似之处。这使得许多已存在的理论可用来对神经网络进行分析，同时也鼓舞了许多科学家和工程师开始注意对神经网络的研究。Hopfield在网络中引入了能量函数的概念，利用Lyapunov稳定性概念证明了当连接权矩阵为对称的情况下，网络在平衡点附近是稳定的，这在神经网络研究领域成为一个重要的里程碑。Hopfield 网络模型的能量函数形式与Ising 模型的能量函数形式是一致的。
总之，Science for AI 的研究使得AI发展有了坚实的基础，反过来 AI for Science又促进的了科学的发展，两者相辅相成，双轮驱动，加速了科学与AI的协同发展。今年的物理化学诺奖无疑是对这两者的强有力的诠解，对今后两个研究领域的发展给出了无限的希望。
以后有时间再聊聊我们在Science for AI 以及AI for Science研究领域的探索工作。
转载本文请联系原作者获取授权，同时请注明本文来自郭平科学网博客。
链接地址：https://wap.sciencenet.cn/blog-103425-1455555.html?mobile=1
收藏
