gaussrieman的个人博客分享 http://blog.sciencenet.cn/u/gaussrieman

博文

闲来偶记之information geometry

已有 6658 次阅读 2012-8-18 22:37 |个人分类:geometry|系统分类:科研笔记| Information, Geometry

                                  闲来偶记

       坦率地讲,很久不写日志,每天上人人不过就是看看别人分享的东西,进来绝少看到好友写日志,当然有几个是例外,如梦龙和张彦偶尔还经常写些至少我看不懂的东西。

       今天的日志似乎应该写点数学以外的东西,从何写起似乎我也没有想好,我的一贯风格就是写到不想写的地方就停止,所谓我常常在结尾写上未完待续的伎俩其实意外之意就是不再写了。

      就从一次走错教室听错报告讲起,本来我想听的是一个PDE方面的report,然而那天报告似乎更换了时间和地点,我却完全不知道。结果走到教室里面听了五分钟之后,才意识到完全是另外一个短期课程information geometry,姑且把它翻译成为信息几何。

      我就先从这里写起,Michigan的zhangjun老师从一元正态分布族

讲起,这一点可能似乎也是受到了信息几何创始人之一Amari讲起,至少Amari一贯从

此讲起。信息几何讲法也很意思,其中(mu, sigma)的参数空间是上半平面,可以

将此看成一个二维的Riemann流形。为了将几何和信息联系起来,流形上面的Riemann

metric肯定不应该是通常的Euclidean metric。这里采用的metric

 

 

 

 

 

 

 一些并不难的计算可以将度规矩阵算 出来

 

 

对应的一形式

 

这个形式和双曲几何中的测地线表达形式非常相近,双曲线几何中的测地线有两种,一种是垂直于x轴的直线,另外一种就是上半圆。类似地经过简单计算可以得出这个流形上的测地线,一种是垂直于x轴的直线,另外一种就是半椭圆的东西。

当然我们可以走的更远些,计算这个曲面的gauss curvature,利用活动标架,是一个不错的练习,gauss曲率是-1/2。


这里扯一点远的,一般来讲学统计的似乎很少会把统计和微分几何联系起来,至少我在NK学了一年统计,没怎么听过做统计的人去谈微分几何,当时只是知道这个世界上有人用algebraic geometry去做dimension reduction,还有就是知道有做统计的老师数学分析挂过。 说个历史上著名的例子,Gauss-Bonnet的外蕴的证明和统计学家Hotelling莫大的推动有很大关系,这一段感兴趣的人,我相信可以在Chern的传记中找到

 

当然有人可能会问,为什么会将那么奇怪的metric度量定义为统计流形上,学过统计的人我想对此一定觉得非常之自然,这就是Fisher information matrix的component,统计学家开始意识到metric tensor我想应该是从Rao1945年开始的吧,意识到曲率应该Efron 1975年的statistical interpretation of curvature,不过个人感觉那时候Efron意识到好像是曲率半径的东西,似乎和现在的观念还是有点差别。

 

当然讲到现在,一切的一切还只是个引子,接下来为了以至于过于唐突,我想应该介绍一个信息几何里面的重要概念,dual connection,对偶联络,这是经典微分几何所没有的东西。经典的微分几何里面对于metric可以决定一个connection(利用加加减技巧),如经典的利用度规来表示connection coefficient公式等等。

 

 

而对于信息几何里面,在这个地方有所推广,这也是信息几何所独特的地方,

可以显而易见地证明,联络对偶的对偶还是本身,有点类似于泛函分析中对偶空间的观念,对于自反的情形两次对偶回到本身,但是有不同于泛函分析中的这种对偶,因为联络和联络的对偶本身都在同一个仿射空间,当然有个前提,就是联络的对偶仍然是联络,这不是显然的,只是需要冗长的验证工作。这里有一点需要说明的是,通常是有一个metric可以诱导产生levi-civita connection. 而在信息集几何中,首先给定metric和一个connection ,利用上面的式子可以计算出对偶联络。在local chart中可以表示为如下的形式。

 

并不困难的计算,可以得到

 


或等价地, Amari观察到了联络凸组合的结构,他定义出了


称之为alpha connection,一般来讲,联络的线性组合不见得是联络, 而凸组合确实

是联络。alpha connection 与-alpha connection 称之为dual connection,体现了一种

对偶性。

 

 

       很长之间以来,information几何研究的学者一般不区分各种对偶性,另外一种重

要的对偶性就是凸函数和凸函数的对偶函数这样的对偶性,这种对偶称为Young

duality,哈密顿力学中的Legendre transformation其实就是Young duality, 当然也可以

用纯粹几何的观念来看就是tangent bundle 到co-tangent bundle的对偶映射。应该说这

个观点在information几何发展之前就已经早已形成。显然刚才提到的两种对偶应该是不

一样的对偶,最早阐明这个想法的是Michigan 的professor zhang jun. 他把凸函数与其

对偶函数称之为representation duality, connection与dual connection称之为

reference duality。据我所知,这是第一次有人澄清这个事实,当然我个人认为这不是

什么重要的事实。


联络和对偶联络(以及alpha connection 与-alpha connection对偶关系)的曲率,挠率之间的关系肯定是个有趣的几何问题。简单地回忆挠率和曲率tensor这两个定义


经过简单的计算就可以知道,关于联络和对偶联络之间dual flat的基本关系:


nabla的Riemann curvature tensor为0则,nabla^{*}的Riemann curvature

tensor 为0.简单推导如下:



另一部分将是divergence function,因为这涉及一些凸分析和信息论,应该是更为有意思的一部分,不过我就写到这里了。



 

 

 

 



http://wap.sciencenet.cn/blog-515664-603587.html

上一篇:从线性代数到泛函分析----从谱分解到谱测度
下一篇:分形动力系统的热力学形式 Thermodynamics Formalism

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-10-20 00:16

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部