张伟
轻松理解局部连接和权值共享
2020-10-21 21:09
阅读:8917

卷积神经网络两大核心思想:

1.网络局部连接(Local Connectivity) 

2.卷积核参数共享(Parameter Sharing) 

       两者的一个关键作用就是减少参数数量,使运算变得简洁、高效,能够在超大规模数据集上运算。 下面用图直观展示!!!

(1)权值共享

v2-a35a29688a764b9ec5e438d53bc1d35a_hd.gif

(2)局部连接

20191216215100320.gif


解释说明:

       对于局部连接而言:层间神经只有局部范围内的连接,在这个范围内采用全连接的方式,超过这个范围的神经元则没有连接;连接与连接之间独立参数,相比于去全连接减少了感受域外的连接,有效减少参数规模。全连接:层间神经元完全连接,每个输出神经元可以获取到所有神经元的信息,有利于信息汇总,常置于网络末尾

      对于权值共享而言:假设卷积核为m*m,进行权值共享时总共参数个数是m*m*channels;若不进行权值共享,则总参数数量则为W(width)*H(height)*channels.总参数变为原来的若干倍!占内存运行慢,不可取!

【参考】

https://www.zhihu.com/question/47158818/answer/670431317

https://blog.csdn.net/weixin_44725500/article/details/103570932

点滴分享,福泽你我!Add oil!

转载本文请联系原作者获取授权,同时请注明本文来自张伟科学网博客。

链接地址:https://wap.sciencenet.cn/blog-3428464-1255252.html?mobile=1

收藏

分享到:

当前推荐数:0
推荐到博客首页
网友评论0 条评论
确定删除指定的回复吗?
确定删除本博文吗?