(1)定义
熵(Entropy)是一个物理中极为重要的概念，然而却又是一个仍未得到完全理解的概念。
当信息论的创始人申农(Claude E. Shannon)与冯.诺依曼(von Neumann)讨论如何命名他新发现的度量信息传输中不确定性的量时，冯.诺依曼曾经评论：“You should call it entropy, for two reasons. In the first place your uncertainty function has been used in statistical mechanics under that name, so it already has a name. In the second place, and more important, no one really knows what entropy really is, so in a debate you will always have the advantage.”
熵最早进入物理学是从热力学。德国物理学家克劳修斯在研究卡诺循环时引入了 Entropy 的概念。卡诺循环蕴含了热力学的两条基本定律。热力学第一定律明确了热是一种可与机械能相互转换的能量，数学表示成能量守恒定律。然而，热能又与机械能有所不同，这导致了卡诺热机的效率恒小于1，因为总会有一部分热能不能转化为机械能而最终向低温热源释放，这是热力学第二定律。
克劳修斯思索如何用数学形式表达热力学第二定律，他发现可以定义一个新的物理量：S=Q/T，即热温之商。如此定义的物理量S在一个可逆的卡诺循环里变换为零 dS=0，因而S是一个状态函数（不依赖于过程）；若热机不可逆，则dS>0. 这样，克劳修斯表述热力学第二定律为：在一个孤立系统之中，dS≥0.
克劳修斯将这个新物理量取名为 Entropy,这来自于希腊语，前缀可见 Entropy 与能量 Energy 有关，而后缀是变换之意，因此 Entropy 这个物理量联系的是能量变换的过程。写成S可能是为了纪念卡诺(N. L. Sadi Carnot).中文翻译“熵”体现的也是热温商之意。可是，这个最初由热力学引入的概念在后来的研究中变成极为重要，其意义也远远地超越了Entropy或者中文翻译“熵”所暗示的内容，在包括信息学，宇宙学等范围都大放异彩。
热力学研究的是宏观物理量之间的转换，而统计力学的目的是从微观自由度（分子，原子）入手推导出热力学关系。熵的统计力学公式由奥地利物理学家玻尔兹曼(Boltzmann)在1877年的一篇论文中给出：
如今，该公式镌刻在玻尔兹曼的墓碑之上，以纪念这位统计力学的奠基人之一。
该式中，熵S是热力学状态变量，而W是在给定宏观状态约束下一个系统所可以具有的微观状态数。由于微观状态数极为巨大，因此取对数并乘上一个非常小的常数k,即玻尔兹曼常数。取对数并且使得这样定义的熵成为一个具有可加性的热力学广延量。显然公式的左右分别对应了宏观和微观，因此玻尔兹曼定义正是用微观推导宏观的统计力学思路。事实上，在玻尔兹曼的原始论文中，熵的公式不是这个形式，此形式来自于普朗克(Max Planck)在1906年的工作，并且是普朗克建议称k为玻尔兹曼常数。普朗克是热力学的大师，他在研究黑体辐射谱问题时，提出了能量量子的观念，这开启了二十世纪的量子论。
有了玻尔兹曼公式，热力学第二定律就是说一个孤立系统获得了一个演化方向，即具有更多微观状态数（更大自由度）的方向，这就是常说的熵增原理。熵增原理也可以表述成所谓的最大熵原理：孤立系统在达到平衡时熵倾向于最大化。然而熵增原理是基于经验得到的，熵增在物理中引入了不可逆过程，从而定义了时间箭头，这与一些基本物理原理矛盾，如何去调和这些矛盾？如何从数学上严格证明熵增原理？这些都是极为有趣的问题。
在熵的波尔兹曼公式中，W取自德语 "Thermodynamische Wahrscheinlichkeit",意思是热力学概率。给定宏观限制下，一个系统的微观自由度越多，W越大。若所有自由度（微观状态）等概率，则P～1/W.玻尔兹曼公式写成 S=-klogP.进一步推广，若各自由度不等概率，即P是微观状态依赖的，则将S写成S=<-klogP>,平均对于所有微观状态进行，此时有熵的吉布斯(Gibbs)定义：
在量子统计力学中，熵的公式由冯.诺依曼推广给出：
这里描述状态的密度矩阵ρ取代了经典概率P.
在信息论中，申农熵的定义：
从这些定义可见，熵在物理中有明确的定义。只要给定一种概率分布，就可以从数学上定义对应的熵。然而，熵与其他物理量的一个明显不同是它不对应于一个可观测物理量。在量子统计中，可测量和状态分别由算符和密度矩阵描述，然而熵不对应于任何一个算符，从定义中已经看出，事实上，熵是一个状态的性质，定义一个状态，就可以定义相应的熵。
(2)时间箭头
在经典统计力学里，一个统计力学体系的微观状态由相空间里的一个点描述：ω=(q3N,p3N). 这样，微观状态不再是可数的离散变量，微观状态数则要由相空间体积(测度)给出。随着时间，状态演化由相空间里点的运动描述。
考虑给定能量的体积元：dω=δ[E-H(ω)]d6Nω/N!，这定义了一个相空间上的测度。经典力学的刘维尔(Liouville)定理说：dω=dω(t).即，给定能量，相空间体积在时间演化过程中不变。由于熵对应于相空间体积，因此，熵在时间演化中是常数。这是一个与热力学第二定律的矛盾。
还有彭加莱(Poincare)回归定理：一个有限测度空间上的保测度变换具有无限回归的性质。热力学体系的相空间是一个有限的测度空间，因此应满足彭加莱回归定理。因此，在充分长时间后，热力学体系将回归相空间的初始点，因此与演化开始时具有近似相等的熵，这又与热力学第二定律矛盾。
在量子统计中，密度矩阵ρ代替了经典概率P. 由量子力学的Schrodinger方程可知，随时间演化，密度矩阵满足：
这里已经取普朗克常数\bar{h}=1. 演化算符的幺正性使得密度矩阵的本征值不随时间改变。而从熵的冯.诺依曼公式知道，熵只依赖于密度矩阵的本征值，因此熵在时间演化中不变。因此，量子力学的基本方程与热力学第二定律矛盾。
统计力学的另一位奠基人麦克斯韦(Maxwell)，在思考熵增原理时，提出了Maxwell's demon,即麦克斯韦妖。麦克斯韦最早从分子运动导出了理想气体速度的麦克斯韦分布，这指明了速度分布的方差定义了温度，<v2>～kT/m,此即能量均分原理。
麦克斯韦认识到温度这个宏观量是一个平均概念，高温的气体中分子平均运动快，可是也存在运动慢的分子。麦克斯韦设想，如果在高温和低温两个气体容器之间加一个隔板，隔板处有一个守卫的小妖，任务是当气体分子撞击隔板时，根据其运动速度决定其时间下一刻的去向：只允许高速分子通过隔板进入高温容器，结果是高温侧温度越来越高，而低温侧越来越低，整个系统的熵减少了，这违背了热力学第二定律。
麦克斯韦妖的概念引发了非平衡统计力学中耗散理论的研究，通过这个发展，人们认识到物理世界除了物质和能量以外，还有信息的存在。信息的获取不是无偿的，麦克斯韦妖对分子速度的每一次测量，都导致了环境信息熵的增加，若考虑体系和环境，整体的熵仍然是增加的。
(3)粗粒化
解决所有这些矛盾的关键是粗粒化的概念，这是由玻尔兹曼的学生埃伦菲斯特(Ehrenfest)最早指出的。
为了讨论熵增带来的不可逆性，我们需要一个对于相空间的粗粒化平均过程，也就是在一个更大的尺度上定义密度或者概率分布。粗粒化紧密联系着宏观量测量的精度问题，我们必须认识到，一个宏观物理量的测量对应一个尺度，在此尺度之下，无法解析物理体系，因而我们要假设对于该尺度之下的无知，或者最大熵的等概率分布。
可以把相空间Ω划分成许多的格子(cell) Ωi。在每一个cell内，因为无法解析出更多信息,概率分布是均匀的。粗粒化密度分布:
在粗粒化层次上，描述运动学的方程不再是经典力学中的哈密尔顿(Hamilton)方程，或者是量子力学中的薛定谔(Schrodinger)方程。
我们最为熟悉的是玻尔兹曼方程，基于分子混沌和仅关注于单粒子关联函数，玻尔兹曼方程可以推导出不可逆性。在粗粒化层次上讨论运动学的还有Master方程等。在这些讨论中，某种平均和粗粒化都是得出熵增，即调和时间可逆与热力学第二定律矛盾的关键步骤。
我们看到，熵增原理实际上第一次在物理学中引入了时间箭头，经典力学以及量子力学里物理过程的时间可逆性被破坏。波尔兹曼在熵增问题上有深邃的思考，他意识到熵的增加只是在概率的意义之下，并通过他的运动学方程推导出了H定理。可是在他生活的时代，连分子论都尚未被广泛接受，于是玻尔兹曼的思想超前了，因此不能被物理学界广泛接受。另一方面，玻尔兹曼在表达自己的想法时也有模糊不清及前后矛盾之问题。据说，玻尔兹曼讲课时学生表示内容太难难以听懂，玻尔兹曼于是在下一次上课时，于继续讲述繁难的问题后，在黑板上写下1+1=2,转身对学生说：“我讲的是多么简单啊”。
长期的不被理解最终酿成了悲剧，玻尔兹曼在一次次辩论之后精疲力尽，也许他感到了一种深深的绝望，最后他在意大利里雅斯特(Trieste)附近的杜伊诺(Duino)以自杀的极端方式告别了这个世界。今天，玻尔兹曼上吊自杀的地方被保留下来，成为一个供游人参观的景点。
遗憾的是，玻尔兹曼的学生，埃伦菲斯特也是以自杀的方式告别这个世界。埃伦菲斯特生于奥地利，在维也纳大学就读期间受教于玻尔兹曼，学习分子运动论的观念，这启发了他对理论物理的浓厚兴趣。在布拉格期间，埃伦菲斯特结识了爱因斯坦，并从此成为忠诚的朋友。后来，埃伦菲斯特接任洛伦兹任荷兰莱顿大学教授，他在莱顿成立了一个国际理论物理学校，与世界上顶尖的理论物理学家保持着紧密的联系，同时，对热爱理论物理的年轻人埃伦菲斯特总是不遗余力的给予帮助和鼓励。
转载本文请联系原作者获取授权，同时请注明本文来自苗兵科学网博客。
链接地址：https://wap.sciencenet.cn/blog-2438753-1176917.html?mobile=1
收藏
