杰弗里·辛顿(Geoffrey Hinton)教授是全世界屈指可数的既获得图灵奖,又获得诺贝尔奖的杰出科学家。上一个这样的传奇人物,我记得好像是赫伯特·亚历山大·西蒙(Herbert Alexander Simon),中文简称司马贺,他获得了图灵奖和诺贝尔经济学奖。不过,辛顿获得的是诺贝尔物理学奖,对一个曾经在物理学专业辍学的学生而言,这或许就叫逃不掉的缘分。
辛顿在获奖感言中,既没有感谢国家,也没有感谢学校,而是实实在在感谢了自己的研究生们,称活都是他们干的,他很幸运招到一些特别聪明的研究生。他有好的想法,但是如果没有研究生的编程实现,也不过是空想。深度神经网络的结构和算法都很复杂,除了需要GPU的算力加持,更需要超强的编程能力才能实现。
辛顿是一个杰出的导师,他远见卓识,思维超前,相信神经网络能模拟人类智能;他意志坚定,目光如炬,相信神经网络一定行,并设计出巧妙的学习算法;他百战不殆,从不因为拿不到基金项目这类小的失败和挫折而轻言放弃。他从1972年读博士开始研究神经网络,一研究就是半个多世纪。他从读博士开始,坚持了14年,冷板凳终于有了一点温度,到1986年,终于提出了BP算法;又坚持20年,冷板凳坐了30多年终于焐热了,到2006年在Science上发表论文,提出了DBN算法,给神经网络带来了曙光;再坚持6年,AlexNET横空出世,赢得图像识别挑战赛冠军,一举成名天下知;又坚持12年,直到他的研究成果广泛应用,影响了很多学科和产业。辛顿教授研究神经网络,累积坚持了52年,终于感动了诺奖评审委员会,非要给他一个诺贝尔物理学奖,尽管他从未想过被提名。
在他的感召下,一大批杰出学生来到他的身边。辛顿早期杰出的学生有博士后杨立坤(Yann LeCun)和约书亚·班吉欧(Yoshua Bengio)。在这两人的协助下,他们的理论和算法研究进展顺利,开创了深度学习理论,并共同获得2018年的图灵奖。
辛顿后勤杰出的学生有伊利亚·苏茨克维((Ilya Sutskever))和亚历克斯·克里兹夫斯基(Alex Krizhevsky),以他们的编程天才和坚持不懈,终于实现了复杂的AlexNET的编程工作,取得了很好的效果,在图像挑战赛中独占鳌头,遥遥领先,吹响了神经网络复兴的号角。