深度学习模型构建多层次特征的关键，是恰如其分地构建各层次特征元，下面以图像识别为例探讨：
一、 选择第0层特征元
1、比如可以选择3*3矩阵，作为第0层像素的特征元：
2、一般而言，第0层3*3矩阵特征元有无数个。通过稀疏编码（Sparse Coding）重复迭代过程，筛选出n个高频特征元，作为第0层n维特征基。由于剔除了部分低频特征元，可能造成部分特征属性损失，所以需要补充额外的b偏置参数。
3、经过上述方式筛选出n个第0层特征基通常是不完备的，还需要找到对偶空间的特征基元添加进来（对偶基可由原空间特征基的逆矩阵求得）。从而得到2n个特征元，作为本层的特征基系。
二、 选择第1层特征元
1、把第0层的3*3矩阵特征基两两复合乘积，得到2阶特征体元，作为第1层的特征元：
2、第1层2n维2阶张量特征元有2n平方个。为避免维度灾难，同样的，这一层级的特征元也通过稀疏编码（Sparse Coding）重复迭代过程，筛选出m个高频特征元，作为该层m维特征基。由于剔除了部分低频特征元，所以需要补充本层次特征属性的额外偏置参数b。
3、经过上述方式筛选出m个第1层特征基，同样地也把对偶空间的m个特征基补充进来。以此2m个特征元，作为本层的特征基系。
三、 选择第2层特征元
1、把第1层的2阶张量特征元（基）两两复合乘积，得到4阶特征体元，作为第2层的特征元：
2、第2层张量特征元也有很多个。同样的，这一层级的特征元，也通过稀疏编码（Sparse Coding）重复迭代过程，筛选出L个高频特征元，作为该层L维特征基。由于剔除了本层次的低频特征元，所以需要弥补本层次特征属性损失额，也添加本层偏置参数b。
3、经过上述方式筛选出L个第2层特征基，同样地也把对偶空间特征基补充进来。以此2L个特征元作为本层的特征基系。
以此类推，得到各层次的特征体元。继而得到各层次特征元的特征值投影值(w权重参数)集合：
转载本文请联系原作者获取授权，同时请注明本文来自陈正茂科学网博客。
链接地址：https://wap.sciencenet.cn/blog-1666470-1244589.html?mobile=1
收藏
