轻松理解局部连接和权值共享
2020-10-21 21:09
阅读:8917
卷积神经网络两大核心思想:
1.网络局部连接(Local Connectivity)
2.卷积核参数共享(Parameter Sharing)
两者的一个关键作用就是减少参数数量,使运算变得简洁、高效,能够在超大规模数据集上运算。 下面用图直观展示!!!
(1)权值共享
(2)局部连接
解释说明:
对于局部连接而言:层间神经只有局部范围内的连接,在这个范围内采用全连接的方式,超过这个范围的神经元则没有连接;连接与连接之间独立参数,相比于去全连接减少了感受域外的连接,有效减少参数规模。全连接:层间神经元完全连接,每个输出神经元可以获取到所有神经元的信息,有利于信息汇总,常置于网络末尾。
对于权值共享而言:假设卷积核为m*m,进行权值共享时总共参数个数是m*m*channels;若不进行权值共享,则总参数数量则为W(width)*H(height)*channels.总参数变为原来的若干倍!占内存运行慢,不可取!
【参考】
https://www.zhihu.com/question/47158818/answer/670431317
https://blog.csdn.net/weixin_44725500/article/details/103570932
点滴分享,福泽你我!Add oil!
转载本文请联系原作者获取授权,同时请注明本文来自张伟科学网博客。
链接地址:https://wap.sciencenet.cn/blog-3428464-1255252.html?mobile=1
收藏
当前推荐数:0
推荐到博客首页
网友评论0 条评论