Time的个人博客分享 http://blog.sciencenet.cn/u/Time

博文

完善神经元,完善所有的神经网络,等待大家一起去研究!

已有 2278 次阅读 2020-6-21 15:31 |个人分类:刘刚的个人主页|系统分类:科研笔记| 神经网络, 机器学习, 人工智能, 模式识别, 机器视觉

基于国家对科研学术圈的优化,及预印版平台的发展,我决定在预印版平台上构建自己的个人学术主页(便于推广和引用,构建学术声誉,扩大学术影响力)

以下是我个人主页的简要内容, 相信大家看完都有所得! 完善人工神经元后有太多神经网络需要去探索了,需要大家一起尝试

B站视频讲解:bilibili.com/video/BV1u (强烈推荐

预印版形式的个人主页(不提交期刊,保留主页更新的版权):https://www.techrxiv.org/articles/It_may_be_time_to_perfect_the_neuron_of_artificial_neural_network/12477266

image.png







我们知道,人工神经网络的灵感来自于生物神经网络。70年前,人们通过模仿当时生物神经元的知识来设计人工神经元。今天,由于生物学的发展,我们对神经元,特别是树突的工作原理有了比较好的了解。

我发现,在设计的时候,传统的人工神经元忽略了生物神经元或生物神经网络中树突参与预计算的事实。

更具体地说,生物树突在大脑中对输入数据的交互信息进行预处理。这可以通过生活中的两项任务简单地说明。为了理解图片任务,生物树突在提取输入图片各部分之间的关系方面发挥了作用。为了理解一篇文章或一个语音任务,生物树突在提取输入词中各部分之间的关系方面起着重要作用。

传统的人工神经元在提取输入数据的交互信息方面存在不足。因此我们设计了很多卷积层。Gang神经元可能会减少现有网络的层数来完成同样的任务。

简要摘要

近年来,人工神经网络(ANNs)在模式识别、机器学习和人工智能方面赢得了众多比赛。神经网络的基本单元是模拟大脑中的神经元。神经网络中的神经元表示为f(wx+b)或f(wx)。这种结构没有考虑树突的信息处理能力。然而,最近的研究表明树突参与了大脑的预计算。具体来说,生物树突对输入数据的交互信息进行预处理。因此,是时候完善神经网络中的神经元了。本文在前人研究的基础上,加入树突处理部分,提出了一种新的人工神经元(CR-PNN或Gang变换)。树突处理部分可以表示为WA.X。因为我完善了神经网络的基本单位——神经元,所以有那么多的网络可供尝试。


一些截图如下:

image.png

image.png

image.png

image.png

image.png

image.png



https://wap.sciencenet.cn/blog-3433003-1238773.html

上一篇:发arxiv 被on hold了。 上传个编号,标记一下时间,防止被抄袭点
下一篇:突然发现我是IEEE预印版paper总点击top1
收藏 IP: 222.90.111.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-16 14:02

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部