|
1.4年前近似KAN架构
在求解疫情动力学SIR模型的感染率、治愈率和再次感染率时,我们在2020年十月左右已经做出近似KAN的工作,并在2020年12月投稿某一个顶刊,但21年1月被退稿。我认真看了21年1月退稿论文,在一条edge内计算出院人数和感染人数,一条line包含n1(k)个点或天,k是突触或神经元标号,这段时间范围的一定天数edge里采用指数共享感染率、治愈率和再次感染率作为权重而不是每天的感染率、治愈率和再次感染率,这样就实现了节约计算成本,也是基于这个目的设计了这个架构。计算这段时间的出院人数和感染人数在末端通过tanh函数激活到下一个line的神经元和隐藏层,当时叫它多线的dl。而且样条和多项式都符合KA表达定理,都可以被称为KAN。
审稿意见一个是国内教授说我的论文没有任何创新性,建议退稿。另一个是欧洲的教授,需要文字修改和加文献。
2.2年半前近似KAN2.0架构
arXiv预印主要针对模拟大脑的时间序列模型,arXiv预印基于实际数据和计算结果的残差或梯度更新edge的范围可对比KAN2.0的树形expend,体现在外部函数outer functions。不同edge的对应的共享权重作为隐函数可以指数化、或对数化或者公式化处理边;edge共享权重作为隐函数在20年12月投稿的paper中已经实现,edge权重隐函数和KAN2.0edge端点的点乘都是点乘处理edge上的点数据,arXiv预印就是早于KAN2.0两年半就已经提出了近似KAN2.0的工作。模拟突触排列的头鱼效应,和突触在局部协调。预印v1版除了比较constant edge、random edge和learning edge预测时间序列的结果,也用模拟了突触强度增长会影响大脑的认知和突触被吞噬会改善大脑的认知,和脑科学实验吻合。
arXiv预印工作v1版实际就是经典大脑,ELKAN对大脑的解释就是不同变量对应不同类型的神经元。边的学习可以解释为突触强度的局部适应和胶质细胞吞噬突触。核函映射到激活函数代表神经元和突触放电, 不同神经元和突触构成脑区, 也就是经典大脑。
在2023年8月1日,arXiv预印最早给出了深度认知、情感和记忆的大脑层级动力学。
在2024年2月,researchgate预印已经最早给出正常大脑各脑区edge的突触强度映射到激活函数,这体现在内部函数inner functions,上游脑区低频逼近目标函数较慢,而下游脑区高频逼近目标函数较快。
这几年所有脑科学的工作都是基于近似KAN等做的。KAN除了可以用来解微分方程和时间序列,KAN2.0已经十分接近经典大脑脑区模拟,可以用KAN来验证脑科学的实验, 研究包括: 意识, 阿尔兹海默症, 长短期记忆, 量子纠缠, 大脑老化, 抑郁症, 偏见, 精神分裂症, 赫布假说, 成瘾的假说。KAN是脑科学、计算物理、理论物理和神经网络的交叉研究,将来还可以模拟非经典的大脑。
图1是2020年12月投稿论文截图,包括算法思想、公式、感染人数和移除人数的拟合。
图2是arXiv的预印v1版截图。
图3是大脑层级动力学的深度认知、记忆和情感。
图1 2020年12月投稿论文截图
图2 arXiv的预印v1版截图
图3 大脑层级动力学的深度认知、记忆和情感
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-11-1 09:31
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社