|||
可能是时候完善人工神经网络的神经元了
中文摘要翻译:
近年来,人工神经网络(ANN)在模式识别,机器学习或人工智能领域赢得了无数竞赛。 ANNs的神经元根据70年前对生物神经元的陈旧知识而设计的。人工神经元表示为f(wx + b)或f(WX)。此设计未考虑树突的信息处理能力。但是,最近的一些研究表明,生物树突参与了输入数据的预计算。具体而言,生物树突在提取输入(特征)之间的交互信息提取中起着作用。因此,可能是时候改善人工神经网络的神经元了。本文将树突功能添加到人工神经元中。树状函数可以表示为Wi,i-1Ai-1○A0 | 1 | 2 | ... | i-1。广义新神经元可以表示为f(W(Wi,i-1Ai-1○A0 | 1 | 2 | ... | i-1))。简化新神经元可以表示为f(∑(WA○X ))。完善神经元后,可以尝试的网络有许多。本文展示了一些基本架构,以供参考。
有趣的事情:(1)串联的树突模块(Wi,i-1Ai-1○Ai-1)的计算复杂度远低于秦九韶/Horner算法。这会加速计算机中基本函数的计算吗? (2)动物的视线具有梯度,但是卷积层不具有此特性。本文提出了梯度感受野。 (3)使用Gang神经元的网络可以删除传统网络的全连接层。换句话说,“全连接层”的参数被分配给单个神经元,这样就减少了具有相同映射能力的网络参数。
强调:ResDD可以替代当前所有ANN的神经元(ResDD模块+一个线性模块)! ResDD具有可控制的精度以获取更好的泛化能力!
GitHub代码:https://github.com/liugang1234567/Gang-neuron
paper链接及截图:https://doi.org/10.36227/techrxiv.12477266
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-23 15:03
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社