XIEQIN的个人博客分享 http://blog.sciencenet.cn/u/XIEQIN

博文

存储信息时,较小幅度地修改权值影响不大的原因

已有 2489 次阅读 2012-6-28 18:15 |系统分类:科研笔记| 中枢神经系统, 微循环, 时序控制, 结构风险, 过程存储与重组模型

    对于一个训练好的存储有某一特定信息的子网络,较小幅度地修改权值对原来存储

在网络中的信息影响不大的一个原因:

1)图一表示一个训练好的存储有某一特定信息的网络,细胞B和细胞A之间的连接权值为W0,分析的时候,把“波动的阈值”分解为两个值,一个是固定的阈值Ga,另外一个是Ga波动分值(作为一路输入)。图三和四中的坐标轴为各路输入的和(包括细胞B向细胞A的输入和Ga波动分值)约定区间A0表示在细胞B向细胞A的输入为1*W0(而不是0*W0)的情况下,各路输入的效果总和所处的范围。在信息处理正确的情况下,区间A0中小于Ga的区间对应的输入样本输出应为0,区间A0中大于Ga的区间对应的输入样本输出应为1

2)现在假设训练好的图一的网络中的一些连接权值受到修改。有两种情况:(1BA的权值受到较大的修改,修改后为W0-W1,或者W0+W2 2BA的权值受到较小的修改,修改后为W0-W1,或者W0+W2。图三表示了在情况(1)发生后,处于区间A1(长度为l1+l2)对应的样本将会出现输出变化的情况(即由输出1变为输出0,或者由输出0变为输出1)。图四表示了在情况(2)发生后,处于区间A1(长度为l1'+l2')对应的样本将会出现输出变化的情况(即由输出1变为输出0,或者由输出0变为输出1)。

3)对比图三和图四,在权值修改比较小的情况下,比较小区间对应的输入样本输出会受影响,因此对原存储的信息影响不大。

   4)对于有多条连接出现权值修改的情况,可以结合联合分布相关理论和上述方法分析。

 



https://wap.sciencenet.cn/blog-746780-586831.html

上一篇:大脑处理信息量化模型中的细节汇编五
下一篇:关于智力起源, 信息存储时需要较大改变网络边权值的原因
收藏 IP: 210.72.3.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-5-17 12:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部