||
最近我在写伪逆学习教程(Pseudo Inverse Learning --PIL)时(https://zhuanlan.zhihu.com/p/31598308),发现了最原始的ELM的两篇论文,IJCNN2004和Neurocomputing2006。经过仔细拜读,才了解清楚原来ELM就是PIL的马甲。
为什么这么说呢?这是有事实依据的,不是随便说说而已。
首先来看黄教主对ELM演讲时的基本技术要点(注意,我说的是基本技术要点):
(1)L Random Hidden Neurons (Learning Without Iteratively Tuning Hidden Neurons in general architectures)
(2)Hidden layer need not be tuned.
(3) Minimize: ||HW-T|| and ||W ||.
(这里用W代表原来的Beta字母,那个不太好输入,但意思不变,下面截两张图上来)
第一张图是关于学习模型,也就是说单隐层神经网络里如何确定输入权重和输出权重。这个也可称作 学习方式(Learning Scheme), 与PIL完全一致。
第二张图说的是ELM的突出特点,我们逐条来看下:
ELM 是简单的不需调节的三步算法--这个我们的ICONIP'1995 论文里算法正是具有这样的特点。
学习速度快 -- 我们的PIL的确学习速度快。
隐节点不需要调节 -- 我们的PIL的确没有调节隐节点,而且还给初学者给出了一个建议,可设为N。
在没有给出训练数据之前产生隐节点参数 -- 这个涉及到输入权重和隐节点个数,在PIL产生输入权重的三种方法之一里,具有这个特点。
这一点属于多层神经网络(MLP)的应用领域,大家都知道MLP应用非常广泛,PIL是对MLP的快速学习算法,自然也可以应用到这些领域了。
对技术要点里的(3),这里补充说一下:上面所列的是后来的平方误差加权重衰减正则化的误差函数,在ELM2004,2006的论文里,均用的平方误差函数。
至于什么是PIL, 可参考我写的伪逆学习教程,(https://zhuanlan.zhihu.com/p/31598308) 里面有详细介绍,并列出了相关的参考文献。在PIL教程里,对隐单元个数的选择还进行了讨论。
关于ELM可自行搜索了解,不过知乎上有关讨论可以阅读以下,这样正反观点都可以了解,兼听则明,偏听则暗。
https://www.zhihu.com/question/28810567
另外有两个网址,均是负面的,不看也罢:
1)http://xxxxxxxxxxxxxmail.com/view/?msg=ZHEZJ1AJ
2)https://elmxxxxx.xxxxxx.com/
最后由衷地感谢黄教主,给我们的PIL穿上了ELM的马甲,经过重新包装后发扬光大到目前的状态。
(备注:应黄教主的要求,删去了那两个负面评价ELM的网站链接。黄教主认为那是诽谤网站,但网站现在仍然没有被取消,看来好像并没有违法。但是看在跟黄教主在 ICIC 2005年就认识的老朋友的份上,(在那年就交流过基于伪逆算法的快速学习思想,如何实现的技术观点看法有共识)我取消了那两个网站的具体网址,以安慰下老朋友的心中之痛。)
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2024-9-1 07:18
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社