|||
闲来偶记
坦率地讲,很久不写日志,每天上人人不过就是看看别人分享的东西,进来绝少看到好友写日志,当然有几个是例外,如梦龙和张彦偶尔还经常写些至少我看不懂的东西。
今天的日志似乎应该写点数学以外的东西,从何写起似乎我也没有想好,我的一贯风格就是写到不想写的地方就停止,所谓我常常在结尾写上未完待续的伎俩其实意外之意就是不再写了。
就从一次走错教室听错报告讲起,本来我想听的是一个PDE方面的report,然而那天报告似乎更换了时间和地点,我却完全不知道。结果走到教室里面听了五分钟之后,才意识到完全是另外一个短期课程information geometry,姑且把它翻译成为信息几何。
我就先从这里写起,Michigan的zhangjun老师从一元正态分布族
讲起,这一点可能似乎也是受到了信息几何创始人之一Amari讲起,至少Amari一贯从
此讲起。信息几何讲法也很意思,其中(mu, sigma)的参数空间是上半平面,可以
将此看成一个二维的Riemann流形。为了将几何和信息联系起来,流形上面的Riemann
metric肯定不应该是通常的Euclidean metric。这里采用的metric
一些并不难的计算可以将度规矩阵算 出来
对应的一形式
这个形式和双曲几何中的测地线表达形式非常相近,双曲线几何中的测地线有两种,一种是垂直于x轴的直线,另外一种就是上半圆。类似地经过简单计算可以得出这个流形上的测地线,一种是垂直于x轴的直线,另外一种就是半椭圆的东西。
当然我们可以走的更远些,计算这个曲面的gauss curvature,利用活动标架,是一个不错的练习,gauss曲率是-1/2。
这里扯一点远的,一般来讲学统计的似乎很少会把统计和微分几何联系起来,至少我在NK学了一年统计,没怎么听过做统计的人去谈微分几何,当时只是知道这个世界上有人用algebraic geometry去做dimension reduction,还有就是知道有做统计的老师数学分析挂过。 说个历史上著名的例子,Gauss-Bonnet的外蕴的证明和统计学家Hotelling莫大的推动有很大关系,这一段感兴趣的人,我相信可以在Chern的传记中找到。
当然有人可能会问,为什么会将那么奇怪的metric度量定义为统计流形上,学过统计的人我想对此一定觉得非常之自然,这就是Fisher information matrix的component,统计学家开始意识到metric tensor我想应该是从Rao1945年开始的吧,意识到曲率应该Efron 1975年的statistical interpretation of curvature,不过个人感觉那时候Efron意识到好像是曲率半径的东西,似乎和现在的观念还是有点差别。
当然讲到现在,一切的一切还只是个引子,接下来为了以至于过于唐突,我想应该介绍一个信息几何里面的重要概念,dual connection,对偶联络,这是经典微分几何所没有的东西。经典的微分几何里面对于metric可以决定一个connection(利用加加减技巧),如经典的利用度规来表示connection coefficient公式等等。
而对于信息几何里面,在这个地方有所推广,这也是信息几何所独特的地方,
可以显而易见地证明,联络对偶的对偶还是本身,有点类似于泛函分析中对偶空间的观念,对于自反的情形两次对偶回到本身,但是有不同于泛函分析中的这种对偶,因为联络和联络的对偶本身都在同一个仿射空间,当然有个前提,就是联络的对偶仍然是联络,这不是显然的,只是需要冗长的验证工作。这里有一点需要说明的是,通常是有一个metric可以诱导产生levi-civita connection. 而在信息集几何中,首先给定metric和一个connection ,利用上面的式子可以计算出对偶联络。在local chart中可以表示为如下的形式。
并不困难的计算,可以得到
或等价地, Amari观察到了联络凸组合的结构,他定义出了
称之为alpha connection,一般来讲,联络的线性组合不见得是联络, 而凸组合确实
是联络。alpha connection 与-alpha connection 称之为dual connection,体现了一种
对偶性。
很长之间以来,information几何研究的学者一般不区分各种对偶性,另外一种重
要的对偶性就是凸函数和凸函数的对偶函数这样的对偶性,这种对偶称为Young
duality,哈密顿力学中的Legendre transformation其实就是Young duality, 当然也可以
用纯粹几何的观念来看就是tangent bundle 到co-tangent bundle的对偶映射。应该说这
个观点在information几何发展之前就已经早已形成。显然刚才提到的两种对偶应该是不
一样的对偶,最早阐明这个想法的是Michigan 的professor zhang jun. 他把凸函数与其
对偶函数称之为representation duality, connection与dual connection称之为
reference duality。据我所知,这是第一次有人澄清这个事实,当然我个人认为这不是
什么重要的事实。
联络和对偶联络(以及alpha connection 与-alpha connection对偶关系)的曲率,挠率之间的关系肯定是个有趣的几何问题。简单地回忆挠率和曲率tensor这两个定义
经过简单的计算就可以知道,关于联络和对偶联络之间dual flat的基本关系:
nabla的Riemann curvature tensor为0则,nabla^{*}的Riemann curvature
tensor 为0.简单推导如下:
另一部分将是divergence function,因为这涉及一些凸分析和信息论,应该是更为有意思的一部分,不过我就写到这里了。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-10-19 23:01
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社