12.3 从向量逻辑到张量逻辑

谷歌搞了个深度学习的演示网页，非常直观：http://playground.tensorflow.org/

先让我们来看一个简单的分类问题。假设你有两组样本数据点：橙色组和蓝色组。要区分每一个数据点是橙色类的还是蓝色类的，你该如何编写代码？

这就是最最简单的“聚类”。很容易，只需像下面那样任意画一条对角线来分隔两组数据点。谷歌机器学习就是这样做的，它很快就划出了漂亮的分界线：

不过，同样的一条线对于分属4个区域的聚类，就无能为力了：

怎样才能正确划分一个4个区域的聚类，答案是增加隐层。也就是把单层向量空间扩展为多重的张量空间：

不过，这种简单扩充隐层的做法，并不总是有效的。

当聚类的图形是圆形之类曲线时，用二次函数、三角函数等作为特征基，效果非常好：

但是，对于更复杂的图形，TensorFlow Playground 有时会进入死角。 谜一般的隐层，是高阶逻辑的迷宫，仿若黑箱，知其然不知其所以然。

如果特征基和隐层构造得当，众多神经元组成的深度神经网络能提取更多特征，解决更复杂更抽象的问题，这时梯度下降的多级迭代就会出奇奏效：

甚至，哪怕有噪音影响，通过一步步算法迭代，机器依然能自己成功算出了最佳匹配模型。精妙至极、完美之至。

最令人惊叹的是，如此复杂(哪怕混入了很多噪音样本点)的样本聚类，并不是引入了什么高深的算法。上面机器学习中的核心算法不过是一条小学五年级的公式：aX+bY=c

为什么如此简单的算法就能完美推导如比复杂的结论呢？因为深度学习模型，是张量空间，远远超越了向量空间(通常我们把有限维的实线性空间叫做矢量空间、向量空间)一阶逻辑的局限性。

张量之神奇，从谷歌这个小小演示中一目了然！曾经，人工智能专家都认为深度学习的成功不过是瞎猫碰上死耗子，只是花拳绣腿假摆式而已，并无理论的支撑。恰恰相反，深度学习所依赖的张量空间，不仅内力深厚，而且力量无穷无尽，远超常人想象。

机器学习专家早年之所以对深度学习嗤之以鼻，是因为深度学习模型不是凸函数、没有极值点、无法线性回归，殊不知函数、极值、线性都只是向量空间的概念，而张量空间远不是小儿科的向量所能完美表达的。

当前的深度学习模型中最流行的线性聚类、梯度下降、稀疏自动编码等等，都是传统机器学习常用方法，都是基于线性空间的概念。但是，深度学习模型并不是线性空间，而是张量空间。以线性空间为基础来研究张量空间，初步阶段的，当然可以，因为向量就是一阶张量、矩阵就是二阶张量。但就此以为张量如向量般简单性质，显然狭隘了。

虽然深度学习一波又一波冲击着人工智能的最前沿，不过业界对深度学习理论的理解，其实才刚刚起步。

在深度学习下阶段发展中，至少有一点是非常值得关注的，那就是“群”。

很少有人注意到群论对于深度学习模型具有特殊意义。

张量逻辑与向量逻辑差异巨大，群论正是解答张量高阶逻辑的一把金钥匙。当年，伽罗瓦另辟蹊径不以传统线性一阶逻辑思维解答问题，而是创造了一种全新思维的张量模式算法，实现了对整个代数方程（隐含虚数i的张量）的逻辑解答。伽罗瓦群是解决复杂系综问题最具跨越性的重大突破。

为什群论和张量有深刻内在关系呢？

先简要一提：

群的定义有4条，除了代表完备性质的封闭性、单位元、逆元，群的根本属性就就一条结合律：(AB)C=A(BC)

我们再来看看张量，前面说过所谓张量就是矩阵乘积：(矩阵A*矩阵B)

而，矩阵乘积基本性质也是结合律：(矩阵A*矩阵B)*矩阵C=矩阵A*(矩阵B*矩阵C)

那么，这又有什么意义吗？

最直接的，群论一剑封喉直指“聚类”，从样本点（元素）聚类到关系结构（算法）聚类。