|
12.7 分裂域唯一性定理
上一节我们提到,既然同一模型意味着同一特征属性,那么不同方法取得的参数集,会不会是等价类呢?在深度学习模型(高阶张量)中,类似于相似矩阵的“张量等价”类,存在吗?
答案当然是肯定的。
比如,如果参数集张量A与‘螺旋样本’匹配、另一参数集张量B与同一‘螺旋样本’匹配,则张量A和张量B存在等价关系。因为它们都匹配同一模型(螺旋样本),很容易可见它们满足等价关系的三个条件:(1)若甲和乙是一伙的,则意味着乙和甲是一伙的;(2)如果甲和乙一伙,乙和丙一伙,则甲和丙也是一伙的;(3)甲和甲自己也可看作是一伙的。
进一步深入量化分析,当深度学习模型隐层的层数相同时,我们可以把每一个链接权重参数看作矩阵的元素,则以此构造的矩阵具有相似性。也就是通过逐层初始化、迭代训练、稀疏自动编码,将同一模型(比如螺旋样本)的不同参数集合的矩阵将逐层变换为同一特征矩阵(即同一λ对角矩阵)。
这是不难理解的,所谓的机器学习,根本目的就是寻找模型属性的特征基。
——
因为层数相同,每一层的对角矩阵λ的乘积:“矩阵λ1*矩阵λ2*矩阵λ3*矩阵λ4*矩阵λ5”即是螺旋模型的特征属性张量。请注意,由于每一层的特征对角矩阵λ是唯一的,所以“矩阵λ1*矩阵λ2*矩阵λ3*矩阵λ4*矩阵λ5”也是唯一的。唯一的标识了螺旋模型的特征属性。
【注:实际应用时,客观值和观测值之间有一个误差ε,只要ε为可容误差,我们就认为唯一性成立。此时,大量训练的迭代值之间存在收敛性,即 |Xn—Xn-1|<ε】
但是,值得思考的是,在更广泛意义下,即如果深度学习模型隐层的层数不相同时,螺旋模型的等价类特征属性张量还能保留某种唯一性吗?
比如,如下的几种状态是等价的吗?
群论里有个著名定理:分裂域唯一性定理。
分裂域唯一性定理高屋建瓴一针见血深刻揭示了同一模型张量特征属性的唯一性(同构)。
关于分裂域唯一性定理严格数学证明请查阅文档,本文从另一个角度简要探讨:
1、域和张量
数域和线性空间的结构一致性(同构性),即数域的扩张相当于线性空间维度扩张;
而普通域是数域的扩张,相当于张量结构,所以域的扩张相当于张量扩张。
2、基本结构
张量的基本结构=旋量*向量
直观而言,旋量*向量基本结构相当于立体圆柱:
同理,旋量*向量结构也相当于立体弹簧:
另请注意,立体弹簧(立体螺旋结构)可以用exp(ipr)复函数表达:
因为exp(ipr)可以看作(所有线性时不变系统)张量唯一的基本结构(本证基),所以其特征投影也是唯一的。进而有,分裂域唯一性的抽象。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-4-26 22:15
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社