13.4 带尾巴的矩阵

   GMIC2017北京大会于4月27日在国家会议中心拉开帷幕，上午领袖论坛首场Keynote由霍金带来,霍金先生通过视频的方式对现场观众做了题为《让人工智能造福人类及其赖以生存的家园》的演讲，他对未来人工智能过度发展可能带来的负面影响表达了担忧，同时也和与会者探讨了关于未来是否要为人工智能赋予“人格”以期限定其权利责任问题。

   演讲中霍金被问:“如果让你告诉外星人我们人类取得的最高成就？”

   霍金回答：“我会告诉他们哥德尔不完备定理。”

   我原以为这个问题的标准答案是：相对论和量子力学，或者Erlangen纲领。老爷子的回答意料之外，情理之中。

   因为“哥德尔不完备定理”开创性证明了线性系统的固有局限性（不完备性），而线性系统是自《几何原本》以来二千年人类科学唯一了解的东西。哥德尔不完备性定理不仅仅吹响了希尔伯特之梦的丧钟，其本质更在于敲碎了线性空间头上那个神圣万能的光环！

   哥德尔不完备性定理，一度成为人工智能研究初期的红线，造成的人工智能探索长达半个多世纪的落寞寂寥。

   人工智能的真正突破在于“深度学习”模型的横空出世，那么“深度学习”凭什么能够超越线性空间的不完备性呢？

   在深度学习之前，人工智能模式识别特征分解都是线性分解（线性空间）的，如下图：

     我们知道，线性系统对应于一般线性群GL(n)，是指基域K上n×n可逆矩阵全体组成的矩阵乘法群。

   请注意，无数个矩阵乘法所得到的线性群GL(n)，仍然对应于线性空间：

  换句话说，如果一个多隐层的系统不含“偏置参数”，那么这个系统的实质就是多矩阵的乘积，这个系统尽管有很多层矩阵，但它只有一层特征基，仍然属于线性群GL(n)，仍然对应于线性空间。

   2004年有限单群分类定理的最终证明，整个世界的全部的所有的一切的单群，除了伽罗华创立的循环群Zp和交错群An两类，另有26个单独存在散在单群，还有16族有限李群。

    线性群GL(n)只不过是李群家族一个小小特例而已，它当然不可能完备表达其它的那些非线性系统。

   并且，即使是范围更广泛的矩阵群，也不过是现实世界的各种复杂系统的沧海一粟。

   2004年有限单群分类定理的最终证明，整个世界的全部的所有的一切的单群，除了伽罗华创立的循环群Zp和交错群An两类，另有26个单独存在散在单群，还有16族有限李群。

   人工智能的真正突破在于“深度学习”模型的横空出世，那么“深度学习”凭什么能够超越线性李群的局限性呢？

   秘密就在于深度学习模型中那个不起眼的偏置参数bias ：

   那个不起眼的偏置参数，不经意间把原初的单层次特征属性的线性分解，升格成了多层次特征属性复合的非线性的高阶张量。

   下面我们具体看看这一切究竟它是如何在改变的：

   前面说了，如果仅仅是单纯的矩阵乘积，则无论这种乘积有多少层，其结果必然还是线性系统。

   但如果隐层节点多了这个偏置参数b，因为偏置参数b不能由最底层的特征基x线性表达，所以意味着原初那个线性矩阵乘积等式变成了不等式：

  由于隐层中多了这个偏置参数bias，意味着这个系统原初单层特征的属性将变成多重复合的特征属性。这时，矩阵乘积不单单是普通权重参数的运算，特征属性的复合也必然要参与运算。原初那个最底层的特征基x系统变成了“复合基”的系统，包含各隐层偏置参数的b属性因子和最底层基的x属性因子的共同复合特征属性。换句话说，不同隐层的额外特征基b也参与了最底层特征基x的矩阵乘积运算，使得原初的x基底的单纯矩阵乘积变成了下面带偏置参数bias特征基的复合运算的矩阵乘积：

  注意，这种带着尾巴（特征基）的矩阵乘积（复合）运算，不正是多重线性的高阶张量的定义么：

   可见，能够表达特征属性复合的“深度学习”模型的矩阵并不是单纯矩阵（线性），而是带着特征基尾巴运算的矩阵张量积（非线性）。因为此，“深度学习”属性空间的基底变成了多重复合特征粒子，从而超越了古典逻辑框架，超越了线性系统。

   洛伦兹群的群元是Boost矩阵和Rotation矩阵的复合体，但洛伦兹群却不是矩阵群。为什么呢？因为Boost矩阵的基底和Rotation矩阵的基底并不一致，同样的道理，所以洛伦兹群的所谓矩阵是需要带着特征基尾巴参与运算的矩阵张量积。因为此，相对论的视野由矢量变成了高阶张量，从而超越了经典物理，超越了线性空间。

   洛伦兹群三个Boost与三个Rotation,这六个生成元可以重新叠加成两组SU2生成元的形式。