Time的个人博客分享 http://blog.sciencenet.cn/u/Time

博文

IEEE预印本Top1:可能是时候完善人工神经网络的神经元了 【变吧!ANN们!】

已有 717 次阅读 2020-10-30 14:04 |个人分类:刘刚的个人主页|系统分类:论文交流| 机器学习, 神经网络, 模式识别, 人工智能, NLP


可能是时候完善人工神经网络的神经元了


中文摘要翻译:

近年来,人工神经网络(ANN)在模式识别,机器学习或人工智能领域赢得了无数竞赛。 ANNs的神经元根据70年前对生物神经元的陈旧知识而设计的。人工神经元表示为f(wx + b)或f(WX)。此设计未考虑树突的信息处理能力。但是,最近的一些研究表明,生物树突参与了输入数据的预计算。具体而言,生物树突在提取输入(特征)之间的交互信息提取中起着作用。因此,可能是时候改善人工神经网络的神经元了。本文将树突功能添加到人工神经元中。树状函数可以表示为Wi,i-1Ai-1○A0 | 1 | 2 | ... | i-1。广义新神经元可以表示为f(W(Wi,i-1Ai-1○A0 | 1 | 2 | ... | i-1))。简化新神经元可以表示为f(∑(WA○X ))。完善神经元后,可以尝试的网络有许多。本文展示了一些基本架构,以供参考。


有趣的事情:(1)串联的树突模块(Wi,i-1Ai-1○Ai-1)的计算复杂度远低于秦九韶/Horner算法。这会加速计算机中基本函数的计算吗? (2)动物的视线具有梯度,但是卷积层不具有此特性。本文提出了梯度感受野。 (3)使用Gang神经元的网络可以删除传统网络的全连接层。换句话说,“全连接层”的参数被分配给单个神经元,这样就减少了具有相同映射能力的网络参数。


强调:ResDD可以替代当前所有ANN的神经元(ResDD模块+一个线性模块)! ResDD具有可控制的精度以获取更好的泛化能力!


GitHub代码:https://github.com/liugang1234567/Gang-neuron 




paper链接及截图:https://doi.org/10.36227/techrxiv.12477266

年IEEE.jpg




http://wap.sciencenet.cn/blog-3433003-1256348.html

上一篇:(详细视频讲解)新的基础算法:树突网络(Dendrite Net):一个用于分类、回归和系统识别的白箱模块

0

评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2021-6-16 04:46

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部