NJU1healer的个人博客分享 http://blog.sciencenet.cn/u/NJU1healer

博文

轻松理解局部连接和权值共享

已有 527 次阅读 2020-10-21 21:09 |个人分类:机器学习|系统分类:科研笔记

卷积神经网络两大核心思想:

1.网络局部连接(Local Connectivity) 

2.卷积核参数共享(Parameter Sharing) 

       两者的一个关键作用就是减少参数数量,使运算变得简洁、高效,能够在超大规模数据集上运算。 下面用图直观展示!!!

(1)权值共享

v2-a35a29688a764b9ec5e438d53bc1d35a_hd.gif

(2)局部连接

20191216215100320.gif


解释说明:

       对于局部连接而言:层间神经只有局部范围内的连接,在这个范围内采用全连接的方式,超过这个范围的神经元则没有连接;连接与连接之间独立参数,相比于去全连接减少了感受域外的连接,有效减少参数规模。全连接:层间神经元完全连接,每个输出神经元可以获取到所有神经元的信息,有利于信息汇总,常置于网络末尾

      对于权值共享而言:假设卷积核为m*m,进行权值共享时总共参数个数是m*m*channels;若不进行权值共享,则总参数数量则为W(width)*H(height)*channels.总参数变为原来的若干倍!占内存运行慢,不可取!

【参考】

https://www.zhihu.com/question/47158818/answer/670431317

https://blog.csdn.net/weixin_44725500/article/details/103570932

点滴分享,福泽你我!Add oil!



http://wap.sciencenet.cn/blog-3428464-1255252.html

上一篇:[转载]深度学习中IU、IoU(Intersection over Union)的概念理解
下一篇:Pytorch中nn.Conv1d、Conv2D与BatchNorm1d、BatchNorm2d函数

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2020-12-5 11:35

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部