鲁学星
从长度到信息拓扑:测度论如何一步步"长出结构"
2026-10-15 20:33
阅读:273

从长度到信息拓扑:测度如何长出结构

如果把概率论与测度论的发展放在一起审视,会浮现出一条极其清晰的脉络:

先问“它有多长”,再问“它有多大”,然后问“随机如何被严格描述”,最后问“高维分布内部藏着什么结构”。

这条线索,从黎曼意义上的长度出发,途经 Lebesgue 测度、Kolmogorov 概率公理化、Rokhlin 测度拆解定理,一直延伸到今天的 DisCo 代数与信息上同调。它不是术语的简单更迭,而是数学在反复追问:不规则的对象能否被严格计量?随机现象能否被整体理解?复杂分布的内在结构能否被分类?

一、长度:一切的起点

人类最早关心的,是"这段路多长""这块地多大"。

直线好办,圆也好办。可一旦遇到弯曲边界、稠密点集、分形般的奇怪图形,古典几何就力不从心了:

  • 用内接多边形逼近,结果会低估;

  • 用外接多边形逼近,结果会高估;

  • 有些集合,内外逼近根本不收敛到同一个数。

19 世纪的分析学把这个问题彻底逼了出来。傅里叶级数的收敛性、极限交换的合法性、函数空间的"大小"问题,都在暗示同一件事——

"大小"不能只靠直观几何,必须变成一种可运算的规则。

若尔当(Jordan)先用有限个区间覆盖定义"若尔当容度",但它只有有限可加性,大量点集仍不可测。

真正打破天花板的是 Borel 和 Lebesgue:

  • Borel 用可数并、补运算从开集生成 Borel 集,给 Borel 集赋予具有可数可加性的测度;

  • Lebesgue 在 1902 年的博士论文中,用外测度/内测度构造出 Lebesgue 测度,并定义了一种全新的积分——不再按定义域切分,而是按函数值域"切片"。

于是"长度/面积/体积"升级成了 Lebesgue 测度。单调收敛定理、控制收敛定理随之成立,Lebesgue 积分成为分析学的新基础设施。

这一步的意义是革命性的:数学第一次能严肃地说,一个极不规则的集合"有多大",一个极疯癫的函数"平均值是多少"。

二、抽象化:从 $\mathbb{R}^n$ 到任意世界

Lebesgue 测度仍然扎根于欧氏空间。下一步属于 Radon、Carathéodory 和 Fréchet。

  • Radon(1913)​ 在 $\mathbb{R}^n$ 的 Borel 集上研究一般可数可加集函数,统一了 Lebesgue 积分与 Stieltjes 积分,并给出"绝对连续测度可表示为不定积分"的结果——这是后来 Radon–Nikodym 定理的雏形;

  • Carathéodory(1914)​ 用外测度定义可测性,给出测度扩张方法,不再依赖具体坐标;

  • Fréchet(1915)​ 迈出了关键一步:为什么非得在 $\mathbb{R}^n$ 里?函数空间、序列空间也可以有测度和积分。他把 Radon 的推理搬到任意集合与 $\sigma$-域上,是抽象测度论的真正起点。

到 1930 年,Nikodym​ 将 Radon 的结果推广到抽象测度空间,得到:

$$\nu \ll \mu \quad \Longrightarrow \quad \nu(A) = \int_A \frac{d\nu}{d\mu} \, d\mu$$

这就是 Radon–Nikodym 定理。它后来成为条件期望、正则条件概率、贝叶斯后验的理论基石。

一句话:到 1930 年,抽象测度论已经成熟;只差一个人把它系统性地拿来重造概率论。

三、Kolmogorov:把"机会"关进测度论

1933 年,柯尔莫哥洛夫出版《概率论基础》(Grundbegriffe der Wahrscheinlichkeitsrechnung),完成了一次静默的革命:

概率直觉

测度论语言

所有可能结果

样本空间 $\Omega$

事件

$\sigma$-代数 $\mathcal{F}$ 中的可测集

概率

总质量为 $1$ 的测度 $P$

随机变量

可测函数 $X: \Omega \to \mathbb{R}$

数学期望

Lebesgue 积分 $\int_\Omega X \, dP$

条件概率

条件期望 / Radon–Nikodym 导数

从此,概率论不再是"赌桌上的组合技巧",也不是"频率派 vs 贝叶斯派"的哲学争论,而是:

测度论的一个归一化分支。

贝特朗悖论、几何概率的模糊性、无穷次独立试验的收敛性,全都有了统一语法。Wiener 能在连续函数空间上构造布朗运动,Doob 能发展鞅论,Itô 能定义随机积分——背后都是同一套工具:σ-代数、可测性、Lebesgue 积分、"几乎必然"。

但 Kolmogorov 体系有一个"留白":它告诉你联合分布是什么,却没有把"拆开以后再拼回去,会不会丢东西"变成核心问题。这个留白,要等另一项定理来填补。

四、Rokhlin 拆解:给概率装上"纤维"

真正把这个留白推到前台的是 disintegration theorem(测度拆解定理)。

古典条件概率公式

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \quad P(B) > 0$$

在 $P(B) = 0$ 时直接失效。连续型随机变量里 $P(Y = y) = 0$,但"给定 $Y = y$"偏偏是贝叶斯推断、滤波理论、随机过程中最重要的对象。

Rokhlin 的回答是:在标准 Borel 空间(如 $\mathbb{R}^n$、离散空间、Polish 空间)上,存在一族条件测度 $\{\mu_y\}_{y \in Y}$,使得联合测度可以正则分解为

$$\mu(A) = \int_Y \mu_y(A) \, \nu(dy)$$

其中 $\nu$ 是边缘测度。而且这族条件测度本身是可测的,且在几乎必然意义下唯一。

这不是"条件概率的另一种写法",而是一次范式变化:

联合测度不再只是一团质量,而是一根"基底测度"上面长出来的纤维束。边缘测度是底空间,条件分布是纤维,拆解定理就是"局部化"的保证。

随机过程拿它构造正则版本,遍历论拿它做遍历分解,贝叶斯统计拿它定义后验分布。它本质上是概率论的"微分几何时刻"的前奏——只是当时没有人从这个角度去说。

五、DisCo:拆、压、拼

到了高维时代,联合分布不再是二维表里的一个数,而是成千上万个变量纠缠在一起的结构。

这时候出现一种新直觉:

  • 按变量分组 $\pi = \{A_1, \dots, A_k\}$ → 拆(disintegrate)

  • 每组内部用边缘 CDF / 摘要变量压缩 → 压(compress)

  • 用块间骨架把条件分布重新组装 → 拼(combine)

这就是 DisCo 代数(Disintegration + Combination)的核心想法。形式上可以写成:

$$\mu = \int \mu_1(\cdot \mid t_1) \otimes \cdots \otimes \mu_k(\cdot \mid t_k) \, d\Phi(t)$$

其中:

  • $\Phi$:块和块之间如何耦合,称为骨架;

  • $\mu_j(\cdot \mid t_j)$:第 $j$ 块在给定摘要后的条件分布,称为纤维;

  • 如果拆的时候保留了完整的条件依赖,拼回去是无损的;

  • 如果压掉了信息,拼回去就会有残余。

这个操作和监督学习里的特征分组、统计物理里的块自旋变换、扩散模型里的多尺度去噪,是同一类动作。DisCo 的贡献不是发明积分,而是把"概率论里的粗粒化"提升为第一性操作。

六、信息上同调:熵不是感觉,是障碍

再往前走一步,就碰到了最迷人也最具争议的部分:信息上同调。

Baudot、Bennequin、Vigneaux 等人提出:把"能观测哪些变量、变量之间谁细于谁"看作一种信息结构(偏序集),然后在这个结构上定义上同调。

结果令人震惊:

  • Shannon 熵出现在某个系数层上,是一个 1-上闭链;

  • 信息链式法则不是"公理",而是上闭链条件;

  • 多元互信息、条件互信息,指向更高阶上同调类;

  • "先按划分 $A$ 拆拼"和"先按划分 $B$ 拆拼"的差别,不能被低阶信息量完全吸收——这种残余,类似于微分几何里的曲率。

微分几何里,绕一圈平行移动回不来,那是曲率。DisCo 里,换一种划分拆拼之后回不到原结构,那是信息曲率。而信息上同调,就是给这种"拼不回去"颁发证书的数学工具。

所以有一句很狠的话:

信息论不是概率论的下游;信息论是概率论的同调论。

这话一半是诗,一半是数学。在有限离散情形,信息上同调已经有严格结果;在连续、无穷维、非参数情形,它还年轻。但方向很清楚:

概率论不想只回答"这个值是多少",它开始问"这个分布有什么不可消除的结构"。

七、一条线的本质:从"大小"到"结构"

把整部历史收回来,是这样一条递进:

阶段

核心问题

关键人物

长度/面积

不规则集合有多大?

Jordan, Borel, Lebesgue

抽象测度

任意空间上如何积分?

Radon, Carathéodory, Fréchet, Nikodym

概率公理化

随机性如何被严格描述?

Kolmogorov

测度拆解

联合分布如何局部化?

Rokhlin

DisCo

拆、压、拼能否成为原操作?

鲁学星等

信息上同调

分布的不可消除结构是什么?

Baudot, Bennequin, Vigneaux

前面是"能不能算",后面是"能不能看懂"。前面是分析,后面是几何;前面是测度,后面是结构。

八、结尾:概率论的高斯时刻

微分几何也不是一出生就有陈省身。

它从高斯开始:曲率可以是内蕴的;

由黎曼推进:流形可以没有外在嵌入空间;

最终由 Grothendieck、陈省身完成:局部到整体的障碍,可以用上同调来记录。

概率论正在走类似的路:

  • Lebesgue 给了它"大小";

  • Kolmogorov 给了它"公理";

  • Rokhlin 给了它"纤维";

  • DisCo 给了它"拆拼操作";

  • 信息上同调试图给它"不变量"。

所以如果有人问:测度论史、拆解定理、几何化纲领,这三者是什么关系?

答案可以是:

测度论让我们计量随机;拆解定理让我们局部化随机;DisCo 与信息上同调让我们读懂随机的结构。

从长度到测度,是从直观到严格;

从测度到拆解,是从整体到纤维;

从拆解到信息拓扑,是从计算到整体理解。

概率论也许正站在自己的"高斯时刻":还不知道陈省身是谁,但已经摸到了曲率的边缘。

参考文献(精选)

  1. Lebesgue, H. (1902). Intégrale, longueur, aire.

  2. Kolmogorov, A. N. (1933). Grundbegriffe der Wahrscheinlichkeitsrechnung.

  3. Rokhlin, V. A. (1949). On the fundamental ideas of measure theory.

  4. Chang, J. T., & Pollard, D. (1997). Conditioning as disintegration.

  5. Baudot, P., & Bennequin, D. (2015). The homological nature of entropy.

  6. Vigneaux, J. (2019). Information structures and information algebras.

  7. 鲁学星. DisCo 代数与高维概率的内蕴拓扑相(知乎专栏). 

转载本文请联系原作者获取授权,同时请注明本文来自鲁学星科学网博客。

链接地址:https://wap.sciencenet.cn/blog-3582667-1556793.html?mobile=1

收藏

下一篇
当前推荐数:0
推荐到博客首页
网友评论0 条评论
确定删除指定的回复吗?
确定删除本博文吗?