15.9 标准模型

如何让机器变得更聪明呢？机器能够象人类心智那样善于视觉处理吗，能够识别图案信息中隐含的特征属性吗？哪怕直到最近十年前，计算机都对图片理解几乎都是束手无策的。 为了解决机器识别误差过大的问题，最自然的想法是将不同算法组合在一起优势互补。从前就有很多专家们这样尝试，他们在机器训练时引入不同类型算法组合，希望藉此改善机器学习的误差。按道理，只要加入一种又一种不同算法，组合这些算法的优势，就有望把误差从85%、85.1%、91%、95%、96%、97%，步步逼近步步提高，总能获得期待的结果。然而人算不如天算，纸上谈兵的理论，再怎么努力结局都一样。实践证明将不同的传统算法简单组合，根本不可能让机器的图片识别能力达到满意的水平：

人工智能算法探索曾经如此举步维艰，使得相关研究在20世纪一度非常低落，那段岁月里很多专家甚至羞于谈论人工智能话题，沉重打击了工程师们开拓勇气，让爱好者们大为尴尬。机器学习算法的狼狈窘境，直到“深度学习”登上舞台那一天才终得转机。历史性的颠覆转折来自于深度学习的诡异黑箱。2012年深度学习模型的谷歌大脑自主识别了猫图片。2015年微软深度学习电脑系统图片识别能力超越了人类。2016年基于深度学习的alphago打得人类落花流水。2018年谷歌深度学习AI阅读理解能力超越人类。深度学习模型王者归来，在图像识别、自然语言处理、博弈游戏等领域取得突破性进步。

“深度学习”为什么能够超越传统机器学习算法、凭什么能够突破传统算法的固有局限性呢？关键是增加中间的‘隐层’。而多层次隐层的关键，是恰如其分地构建中间层次特征元。

 一、    黑箱里没有眼耳口鼻

在距今约5.3亿年前寒武纪地质时期，地球上突然涌现出各种各样的动物，一系列与现代动物形态基本相同的动物在地球上集体亮相，形成了多种门类动物同时存在的繁荣景象。“寒武纪生命大爆发”最大亮点是产生了眼睛，从此生物具有了视觉，以及配合视觉分析的复杂大脑。研究人员通过在猫的后脑头骨上开洞，向洞里插入电极测量神经元的活跃程度，发现猫的可视皮层是相应分级的。从而证明了，猫识别一张人脸，应该是一层一层地去特征识别的。同样的，人类思维也反映出层次性。多层次模型其实是人类视觉的直觉模式。多层次模型的根源是因为客观世界特征属性的多层次性。从光子、电子、原子、分子、细胞、人体、地球、太阳系、银河系，客观世界特征层次分明。

巧合的是，深度学习人工智能也是率先在图像识别领域取得决定性突破。AI图片识别能力超越人类，深度学习技术也同样是模仿‘层次思维’。深度学习AI含多个隐层的多层感知器，图片识别时通过组合低层特征结构形成更加抽象的高层特征类别，以发现分布式数据的复合特征表示。深度学习技术淋淋尽致地发挥多层次特征属性分析优势，关键的关键是找到各层次的特征元。

研究发现，各种图片的最低层特征结构都是edges（边缘线）。所有图形都可以由基本10x10像素的edge构成。

并且，更结构化，更复杂的，具有更高概念性的图形、轮廓、形状，都是由这些edges抽象表示的。抽象的中间结构是更高层次的特征表示，高层表达由底层表达复合而成。V1取提出的特征元是边缘；然后V2层基是V1层基的复合，是更高一层的特征元。即上一层的特征元是下一层特征元复合，再上上层又是上一层的复合特征元……由具体到抽象、再更进一步的抽象。图片识别中的V1层10x10像素是最基本像素结构，即edges（边缘线）。由V1层edges组合抽象得到的v2、v3等中间隐层特征。一般认为，人脸识别的中间层次特征元就是人脸的子结构，比如常见的‘眼睛’、‘耳朵’、‘嘴巴’、‘鼻子’等特征：

然而，如果我们仔细探究深度学习AI的图片识别模型的参数集。会发现隐层里并没有耳朵、鼻子、嘴巴等人脸子结构数据。深度学习AI人脸识别，隐层完全就是黑箱，根本找不到 “眼耳口鼻”等特征结构。

这就奇怪了，如果深度学习AI人脸识别没有“眼耳口鼻”等子特征结构，它又如何精准判断整体人脸特征的呢？隐层的中间层次特征元又是些什么鬼呢？

二、深度学习的本质是特征复合张量积

深度学习根本要点在于两个方面：

     1、提取一个层次的特征元，线性组合之，相当于加法：S =∑an

     2、在多个隐层提取不同层次特征元，逐层复合之，相当于乘法：f1(f2(f3(x)))= f1*f2*f3  

f1*f2*f3是矩阵乘法表示。不同层次特征元每累乘一次得到更高阶的特征复合。

前面说过客观世界具有明显的层次性，所以逻辑也有层次性。逻辑的层次性体现为特征元的层次性。Deep Learning 相对于其它AI模型的重大突破，正在于它的多层次特征提取和复合分析。

深度学习演算就将不同隐层feature map进行特征属性复合：

其中O_{p是输出，Xp是样本输入，Fn是滤波功能函数，W}^{（n）是加权参数}

深度学习AI的标准模型是含多个隐层的多层感知器的机器学习系统，通过组合低层特征结构形成更加抽象的高层特征类别，以发现分布式数据的复合特征表示。深度学习人工智能的本质，是对各层次的特征属性进行复合演算。深度学习模型的数学结构是高阶张量（tensor)。因为深度学习基于高阶张量空间的高阶逻辑，所以它跨越了一阶逻辑的局限性。这是深度学习模型与传统人工智能的本质区别。

   深度学习高阶张量的关键是构建各个隐层的中间层次特征结构，中间层次特征的关键是复合低阶的特征，隐层的特征复合就是不断升高的n阶张量积。

究其根本，各个隐层的中间层特征元，可以由是最底层的一阶特征元复合乘积而得。

三、由最低层特征结构复合的n阶体元

特别注意，深度学习成功的关键是添加隐层（变深），而不是添加维度（变胖）。 增加隐层的关键是添加合适的中间层次特征元。

一般而言，中间层特征元有很多选择，只要包含了足够多的线性无关特征结构，就行。正如线性空间的特征基有很多选择，n维空间只要包括n个线性无关特征元就具有了完备性。

但是，如果线性空间中选择正交归一化的特征基参照系，特征值演算更简单。

那么，高阶张量参照系是否也能选择一组合适的中间层特征元，使得演算更简单呢？

如果我们细致分析深度学习参数集，会发现隐层的中间层次特征元可由最低层特征结构直接复合而得。比如，最低层特征元是x1、x2，隐层中可能出现x1平方、x2平方、x1*x2 等由x1、x2直接复合的结构。

图像识别中，图片的最低层特征结构是edges（边缘线）

那么，

中间层特征元可不可以是两个edge复合的二阶面元：⊗

中间层特征元可不可以是三个edge复合的三阶体元：⊗⊗

……………………………………………

中间层特征元可不可以是n个edge复合的n阶体元： ⊗……⊗

正如上一章节我们所探讨过的，就像毛毛虫永远不理解一阶逻辑推理，不知道树杆加上尖石能制作武器矛；也许我们无法想象高阶逻辑的神妙，永远无法参悟‘桌子⊗椅子’复合特征的意义。

但是，即使我们不熟悉多特征复合体元 ⊗⊗是什么鬼，也并不表示它们毫无意义。

n阶复合体元： ⊗……⊗有无可能作为深度学习AI的图片识别的各隐层的标准特征元呢？

四、标准模型

物理学通过规范场论建立了标准模型。同理，深度学习似乎也可从n维低层特征元建立n阶体元标准模型。

n维最低层特征元复合得n阶体元，视为n形式场；（n-1）个正交归一最低层特征元复合得（n-1）阶体元，视为n形式场的切余；（n-2）个正交归一最低层特征元复合得（n-2）阶体元，视为（n-1）形式场的切余……（n-m）个正交归一最低层特征元复合得（n-m）阶体元

就像规范场论的标准模型看作物理世界标准零件一样，（n-m）个正交归一最低层特征元复合体元也许可以作为深度学习隐层各层次的特征元。这样，原本任意线性无关特征元都可充当的中间层次特征结构，可依此标准化为的（n-m）阶复合体元。

假如每一隐层都是最低层特征元的（n-m）阶复合体元，也许我们将得到深度学习标准模型。

首先，把高频特征元筛选出来，作为最低层特征元零件；

然后，由最低层特征元复合构建二阶面元，作为第二隐层的特征元；

          由最低层特征元复合构建三阶体元，作为第三隐层的特征元；

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

          由最低层特征元复合构建（n-m）阶体元，作为第（n-m）隐层的特征元；

。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。

          由最低层特征元复合构建n阶体元，作为第n隐层的特征元。

 这样，隐层各层次的特征元都以标准化的（n-m）阶体元，作为各层次特征结构的通用构件。

五、优势

①群演算

例1：保险业常常需要计算‘驾驶员⊗车辆⊗行驶环境’三阶特征体元的事故率，假如刻画‘驾驶员’特征需要年龄、驾龄、性别、职业、性格、生活习惯等6个维度，‘车辆’特征需要车龄、车价、车型、车况等4个维度，‘行驶环境’需要路况、天气、地形地貌、行驶路线、拥堵状况等5个维度。如果以传统参照系为标价，需要建立6*4*5=120维度的线性空间。如果复合要素更多，则复杂度呈现几何级数增长。

例2：如果系统工程师优化一个互联网系统，他需要考虑最底层的计算机；第二层的物理连接裸网络；第三层基于TCP/IP的逻辑网络；第四层internet；第五层万维网浏览器；第六层基于搜索引擎、QQ、论坛、微信、淘宝等应用圈。对于一个资深专家，他不仅关心每一层的逻辑渊源，如果有需要甚至还要关注更基层的一台计算机内部的cpu、mem、disk等等结构。这么多各层次特征要素复合，很难避免维数灾难。

但是，如果我们把每一隐层都以最低层特征元的（n-m）阶复合体元，作为标准化通用零件，则可以轻松定义群元 ，从而借助群理论进行推演，如同规范场论，使运算变得可行。

②清晰层次

假如每一隐层都是最低层特征元的（n-m）阶复合体元，如果每一隐层都是准化通用零件，也许我们将得到通用深度学习模型的标准的特征参数集。也就能通过大一统标架来量化猫、狗、花草等等的界、门、纲、目、科、属、种，从而量化猫和狗、猫和鱼、猫和花草、猫和石头的亲近关系，赋予机器常识观念。

③预防失控

一般而言，深度学习隐层的中间层次特征元有很多选择，只要包含了足够多的线性无关特征结构就行，而杂乱无章的隐层特征基参数过于繁杂，如同黑箱。但是，通用零件的深度学习系统的标准化参数集，有可能呈现相对清晰的规律性，便于人类追踪，也许能防止未来AI失去控制。