||
对于一个训练好的存储有某一特定信息的子网络,较小幅度地修改权值对原来存储
在网络中的信息影响不大的一个原因:
(1)图一表示一个训练好的存储有某一特定信息的网络,细胞B和细胞A之间的连接权值为W0,分析的时候,把“波动的阈值”分解为两个值,一个是固定的阈值Ga,另外一个是Ga波动分值(作为一路输入)。图三和四中的坐标轴为各路输入的和(包括细胞B向细胞A的输入和Ga波动分值)约定区间A0表示在细胞B向细胞A的输入为1*W0(而不是0*W0)的情况下,各路输入的效果总和所处的范围。在信息处理正确的情况下,区间A0中小于Ga的区间对应的输入样本输出应为0,区间A0中大于Ga的区间对应的输入样本输出应为1。
(2)现在假设训练好的图一的网络中的一些连接权值受到修改。有两种情况:(1)B到A的权值受到较大的修改,修改后为W0-⊿W1,或者W0+⊿W2 (2)B到A的权值受到较小的修改,修改后为W0-⊿W1’,或者W0+⊿W2’。图三表示了在情况(1)发生后,处于区间A1(长度为l1+l2)对应的样本将会出现输出变化的情况(即由输出1变为输出0,或者由输出0变为输出1)。图四表示了在情况(2)发生后,处于区间A1’(长度为l1'+l2')对应的样本将会出现输出变化的情况(即由输出1变为输出0,或者由输出0变为输出1)。
(3)对比图三和图四,在权值修改比较小的情况下,比较小区间对应的输入样本输出会受影响,因此对原存储的信息影响不大。
(4)对于有多条连接出现权值修改的情况,可以结合联合分布相关理论和上述方法分析。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-5-17 12:44
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社