heruspex的个人博客分享 http://blog.sciencenet.cn/u/heruspex

博文

读研秘技廿三:如何做好冷门研究 精选

已有 9651 次阅读 2020-9-18 08:29 |系统分类:科研笔记| 研究生, 科研, 人工智能, 创新, 冷门

       2020911日下午,北京召开了科学家座谈会。会议强调了要“加快解决制约科技创新发展的一些关键问题”以及要“大力弘扬科学家精神”。在会上科学家们的交谈中,提到了如何看待冷门研究。按一般概念,一些冷门的东西没有用。但这种认识可能把一个领域的事业耽搁了。

        那么要怎么做“冷门”研究呢?要做冷门,需要的科学家精神之一是耐得住寂寞和有坚定的信心。 

        在人工智能领域,有两个很经典的冷门例子。一是统计学习理论的建立。这大概可以追溯到1963年,两位科学家Vladimir N.Vapnik  Alexey Ya.Chervonenkis提出了基于能刻画划分样本最大数量的VC维,并以此来表征学习器对未知样本的学习或泛化能力。但在当时,多数人只是把这一概念看成是统计学习或模式识别理论上的研究成果,但很少有人认为,可以基于此概念进一步形成实际算法。所以,跟进研究的人并不多。时间一晃就是30多年,Vapnik一直在坚持着泛化理论的研究,在他的《统计学习理论》一书中能看到这一理论的演化过程,从VC维过渡到了生长函数、退火熵,最终得到了能帮助构造实际算法的最大边缘。并基于最大边缘,形成了主导人工智能随后20年的支持向量机算法和核函数概念。

        另一个例子是Geoffrey Hinton研究的神经网络。在统计学习开始流行后,大家回顾第二波人工智能热潮,把神经网络成功的原因归结为:其用于优化网络的反向传播算法把神经网络重新带回了人们的视野,仅此而已。这使得绝大多数人工智能及相关领域的研究者从神经网络研究中抽身离去,转向统计学习的研究。从1998年到2012年,这个时间段差不多都是统计学习的天下。然而,Geoffrey Hinton仍然在坚持神经网络方面的研究,到2006年首次提出了深层网络的概念。但当时大家仍然是将信将疑,并没有太多人工智能的科研工作者迅速回到神经网络的研究中。直到2012年,Hinton带着他的学生Alex一起提出了AlexNet网络模型,并在当时最大的图像识别数据集ImageNet上以10个百分点的显著优势超越了统计学习方法的最优性能后,人工智能的科研工作者才大规模地转向深度神经网络的研究。而这一过程中,Hinton及其它神经网络的研究者在这一相对冷门的方向上已经坚持了近14年。

       这算是两个比较幸运的冷门的故事,毕竟最终都转成了热门,且都还引领了整个领域的发展。然而,多数冷门方向不见得有这么幸运。其原因很多,如背景理论要求太高,思想太过超前和看不到钱景等等。

       具体来说,背景理论要求太高,容易导致学生产生畏难情绪。比如现在人工智能研究中,有些方向是需要用到微分流形甚至代数拓扑知识的,如分析高维度数据的内在低维结构的流形学习,以及寻找数据内在拓扑结构的持续同调。但研究生有可能不具备这样的数学基础,或者花费很长的时间学习也不得其门而入。即使有了些许的成就,也有可能因为太过冷门,而得不到广泛的关注,极端情况有可能发表的论文会得到0次的引用。类似地情况,在思想太过超前时也会出现。在这种情况下,还有可能出现,做的工作不被同行认可,以至于投稿无门。如在19世纪60年代控制领域为频域派占主导地位时,鲁道夫 • 卡尔曼提出的、在动态系统上使用时域微分方程模型的卡尔曼滤波器,就曾一度不被看好,只能在不太入流的墨西哥数学学会通报,发表了这一在最优控制理论上的奠基性工作。

       另外,看不到钱景也是现今研究生在选择方向时,不偏好冷门的原因之一。如目前的人工智能研究,多数应用性研究都集中在图像、计算机视觉和自然语言处理,采用的模型也多与深度学习相关。而(知名)企业在招人时也很看重在这些方向上的成果。以至于学生在选题时,会偏向这些研究方向,而很难有动力去考虑冷门的研究。 

       不管是哪种原因, 这些冷门研究还有一个共性,就是研究的时间跨度通常都比较长,即使是能变成热门,有可能也会超越一个研究生从入门到毕业所需的时间年限。对多数学生来说,如果选择了冷门方向,有可能只是充当了让该方向成熟的一份子,或一颗螺丝钉,或者说前六个烧饼之一。而且还要冒对方向判断失误的风险。 

        那么,我们该不该选择冷门研究呢?如何选择冷门研究呢?如何支持呢?

       首先,该不该呢?从现在的国内外形势,不难看出基础核心技术的重要性。而这些技术从市场或科研的角度来看,属于耗时费力的冷门方向。但如果不重视,很有可能在当下或未来被卡脖子。所以,冷门研究是应该要有人去选择的,甚至有些方向还需要重点投入。

       其次,如何选择呢?通常来说,这主要是导师应该做的事,但个别研究生有好的远见的情况也不鲜见。导师的 能力之一,是要对研究方向有好的敏感性,能够基于自己以往的研究经验和专业知识,直觉判定哪些冷门方向是值得去探索的,且有魄力、毅力和胆识将这一方向持续研究下去。同时,在大环境不允许的情况下,有时候还需要导师自己先做前期调研和探索,减少学生走不必要的弯路。

       而对于研究生来说,遇上冷门方向则需要沉下心,全方面的了解该方向的优势和不足,多读文献,多做实验来寻找突破口。也需要做好心理调适,不要受周围做热门方向且小成果不断的同学的影响。

       第三,如何支持呢?管理层的支持是不可或缺的。比如从国家层面来看,今年高考新增了强基计划,这是旨在培养一批有志为国家基地建设作贡献的青年人才。虽然这个计划很不错,但仅限于本科生的选拔。而要解决我国的短板或卡脖子问题,更需要国家对冷门研究在经费上有更多的投入,在研究生数量上给予如类似强基的研究生教育计划的支持。而从教育部门来说,在评估标准上也可以有适当的宽容,如在论文发表档次、引用次数或ESI指标的考核、学生毕业论文的要求以及每年绩效考核等等上做一定的淡化。对企业来说,也可以在招聘从事冷门方向研究的研究生时给一些优惠条件或待遇,如免去笔试,直接进入面试。或者政府出台政策,如企业招收冷门方向的研究生可按比例来免税。

       有了多部门、全方位的支持,加上导师对前沿的敏感嗅觉,以及研究生的持之以恒和深入研究,相信我们会在冷门和卡脖子的研究方向上持续地结出好的科研硕果。

 

张军平

2020918


往期阅读:

22. 读研秘技廿二:奔涌吧,科研巨浪

21. 读研秘技廿一:将应用写在祖国大地上

20. 读研秘技二十:共赢的合作

19. 读研秘技十九:兼听则明的评审与回复

18.  读研秘技十八:完美主义的排版

17.  读研秘技十七:虎头蛇尾与画蛇添足的结论

16.  读研秘技十六:完备的实验

15.  读研秘技十五:创新 -- 从亨廷顿舞蹈病说起

14.  读研秘技十四:综述东来顺,引用西太后

13.  读研秘技十三:引人入胜的开场白

12.  读研秘技十二:重灾区的论文摘要

11. 读研秘技十一:论文的选题与选题目

10. 读研秘技十:不对称的压力与科研流水线

9. 读研秘技九:讨论班与综合科研能力

8. 读研秘技八:泡泡糖与脱口秀

7. 读研秘技七:高徒出名师

6. 读研秘技六:正说寻师 -- 四个维度

5.  读研秘技五:从射雕戏说寻师

4.  读研秘技四:湖南人的霸蛮与荷尔蒙

3. 读研秘技三:我的想象力飞了起来

2. 读研秘技二:时商与基础误区

1. 读研秘技:你能更优秀(一):时商,从爱多士说起

zjp.jpg

张军平,复旦大学计算机科学技术学院,教授、博士生导师,中国自动化学会混合智能专委会副主任。主要研究方向包括人工智能、机器学习、图像处理、生物认证及智能交通。至今发表论文100余篇,其中IEEE Transactions系列21篇,包括IEEE TPAMI, TNNLS, ToC, TITS, TAC, TIP等。学术谷歌引用4000余次,H指数32。

出版科普著作《爱犯错的智能体》,曾连续24次推荐至科学网头条,曾五次进入京东科普读物新书榜前三名。关于人工智能发展趋势的观点曾被《国家治理》周刊、《瞭望》、《科技日报》、《中国科学报》等媒体多次报道。连载的《读研秘技》至今被科学网推荐头条20次。



https://wap.sciencenet.cn/blog-3389532-1251050.html

上一篇:人工智能的尽头是人工(二):偏差与方差之争
下一篇:读研秘技廿四:心理暗示与挑战极限
收藏 IP: 202.120.235.*| 热度|

16 张淑扬 孙学军 徐荣 陈百利 姚攀 白龙亮 黄永义 尧中华 卜令泽 刘博 孟佳 蔡宁 马臻 陈新平 周忠浩 王兴

该博文允许注册用户评论 请点击登录 评论 (5 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-23 18:03

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部