科学网-[建议] 放弃对论文的过度量化计量评价，增加公开的综合评价-杨正瓴的博文

切换到桌面版

[建议] 放弃对论文的过度量化计量评价，增加公开的综合评价

2024-11-14 23:49

阅读：1036

一切真理开始时总是在少数人手里，总是受到多数人的压力，这是一个规律。

自古以来，没有先进的东西一开始就受欢迎，它总是要挨骂。

一万年以后，先进的东西开始也还是要挨骂的。

[建议] 放弃对论文的过度量化计量评价，增加公开的综合评价

一、世界范围“颠覆性”创新的衰落

（1）大量的常规论文，已经淹没了真正的创新。

（2）国际顶刊带头“不创新”。

图1 颠覆性科学和技术的衰落。

Fig. 2: Decline of disruptive science and technology.

a,b, Decline in CD5 over time, separately for papers (a, n = 24,659,076) and patents (b, n = 3,912,353). For papers, lines correspond to WoS research areas; from 1945 to 2010 the magnitude of decline ranges from 91.9% (social sciences) to 100% (physical sciences). For patents, lines correspond to National Bureau of Economic Research (NBER) technology categories; from 1980 to 2010 the magnitude of decline ranges from 93.5% (computers and communications) to 96.4% (drugs and medical). Shaded bands correspond to 95% confidence intervals. As we elaborate in the Methods, this pattern of decline is robust to adjustment for confounding from changes in publication, citation and authorship practices over time.

【机器翻译】a、 b，CD5随时间下降，分别为论文（a，n=24659076）和专利（b，n=3912353）。对于论文，行对应于WoS研究领域；从1945年到2010年，下降幅度从91.9%（社会科学）到100%（物理科学）不等。对于专利，行对应于国家经济研究局（NBER）的技术类别；从1980年到2010年，下降幅度从93.5%（计算机和通信）到96.4%（药品和医疗）不等。阴影带对应于95%的置信区间。正如我们在《方法》中详细阐述的那样，这种下降模式对随着时间的推移发表、引用和作者实践的变化所造成的混杂因素的调整是稳健的。

From: Papers and patents are becoming less disruptive over time

https://www.nature.com/articles/s41586-022-05543-x/figures/2

https://www.nature.com/articles/s41586-022-05543-x

图2 随着时间的推移，论文和专利的高质量科学颠覆性越来越小。

Fig. 5: CD index of high-quality science over time.

This figure shows changes in CD5 over time for papers published in Nature, Proceedings of the National Academy of Sciences (PNAS) and Science (inset plot, n = 223,745) and Nobel Prize-winning papers (main plot, n = 635), with several notable examples31,32,58,62,63,64,65,66 highlighted. Colours indicate the three different journals in the inset plot; colours indicate the three different fields in which the Nobel Prize is awarded in the main plot. Shaded bands correspond to 95% confidence intervals. For historical completeness, we plot CD index scores for all Nobel papers back to 1900 (the first year in which the prize was awarded); however, our main analyses begin in the post-1945 era, when the WoS data are generally more reliable. The figure indicates that changes in the quality of published science over time is unlikely to be responsible for the decline in disruption.

【机器翻译】此图显示了发表在《自然》、《美国国家科学院院刊》（PNAS）和《科学》杂志上的论文（插图，n=223745）和诺贝尔奖获奖论文（主图，n=635）的CD5随时间的变化，并突出了几个值得注意的例子3,32,58,62,63,64,65,66。颜色表示插图中的三种不同期刊；主情节中的颜色表示诺贝尔奖授予的三个不同领域。阴影带对应于95%的置信区间。为了历史的完整性，我们绘制了1900年（诺贝尔奖颁发的第一年）以来所有诺贝尔论文的CD指数得分；然而，我们的主要分析始于1945年后，当时《Web of Science》的数据通常更可靠。这一数字表明，随着时间的推移，已发表科学的质量变化不太可能是中断减少的原因。

From: Papers and patents are becoming less disruptive over time

https://www.nature.com/articles/s41586-022-05543-x/figures/5

https://www.nature.com/articles/s41586-022-05543-x

简言之：

迷信国际顶刊，

不利于科技创新！！！甚至是扼杀颠覆性科技创新！

孙昌璞院士说：

https://news.sciencenet.cn/htmlnews/2023/5/500025.shtm

类似“追逐流行的研究方向”这种行为，对个人来讲确实不能说是很大的问题。一个年轻人，去做一些时髦的研究方向，没什么不可以的。但如果所有人都去做这个时髦的方向，而不是根据对科学本身的理解和判断来选择研究方向。会出现什么情况呢？

第一会非常地“卷”，大量人挤在少数几个热门领域里毫无意义地内卷；第二，真正原创性的科学，有价值的科学就没有人做了。这不仅会造成巨大的社会资源浪费，也严重破坏了科学研究的公信力。

二、放弃对论文的过度量化计量评价，增加公开的综合评价

从各种“评价”中极力降低“论文”数量指标的作用，是遏制“常规论文泛滥”的主要具体手段之一。

采用网络“公开实名讨论”，是可能的具体替代方法。

加强“长周期评价”，是先进科技进步的重要保证。

……

不存在“完美”的具体评价方法。

完美的评价方法，来自“人心”。

三、呜呼，灭六国者六国也，非秦也。族秦者秦也，非天下也。

3.1 公元 825年（唐敬宗宝历元年），23岁的杜牧在《阿房宫赋》里说

呜呼，

灭六国者六国也，非秦也。

族秦者秦也，非天下也。

嗟乎！

使六国各爱其人，则足以拒秦；

使秦复爱六国之人，则递三世可至万世而为君，谁得而族灭也？

秦人不暇自哀，而后人哀之；

后人哀之而不鉴之，亦使后人而复哀后人也。

7a90575f61b95ee8f92119f08016026c_副本_副本.png

图3 杜牧 Du Mu, 公元 803 ~ 852。清代上官周（1665年—1752年）画

https://nguoikesu.com/images/wiki/do-muc/7a90575f61b95ee8f92119f08016026c.jpg

https://blog.sciencenet.cn/blog-107667-1418754.html

3.2 公元 1822年，52岁黑格尔对杜牧（23岁）的抄袭

998年（近千年）之后，52岁的黑格尔 1822年在《Lectures on the Philosophy of History》里，抄袭 23岁的杜牧说：

“人类从历史中学到的唯一教训，就是人类无法从历史中学到任何教训。”

But what experience and history teach is this, - that peoples and governments never have learned anything from history, or acted on principles deduced from it.

Was die Erfahrung aber und die Geschichte lehren, ist dieses, daß Völker und Regierungen niemals etwas aus der Geschichte gelernt und nach Lehren, die aus derselben zu ziehen gewesen wären, gehandelt haben.

Georg Wilhelm Friedrich Hegel (1770 - 1831), deutscher Philosoph

Quelle: Hegel, Vorlesungen über die Philosophie der Geschichte, 1837 (posthum). Einleitung

Georg Wilhelm Friedrich Hegel, 1770-08-27 ~ 1831-11-14, 61。

3.3 公元 1875年，40岁福泽谕吉对杜牧（23岁）的“擦边球”式抄袭

1875年，40岁的福泽谕吉（福沢諭吉，ふくざわゆきち，Fukuzawa Yukichi，1835-01-10 ~ 1901-02-03, 66），在《文明论概略文明論之概略》擦边球式第抄袭说：

“汲取欧洲文明，必须先其难者而后其易者，首先变革人心，然后改变政令，最后达到有形的物质。按照这个顺序做，虽然有困难，但是没有真正的障碍，可以顺利达到目的。倘若次序颠倒，看来似乎容易，实际上此路不通，恰如立于墙壁之前寸步难行，不是踌躇不前，就是想前进一寸，反而后退一尺。”

参考资料：

[1] 生物世界，2023-01-05，Nature：论文与专利越来越多，但突破性成果却越来越少

https://mp.weixin.qq.com/s/ylFv3jrSkzsklZMTHJZfDA

[2] 孙学军，2023-01-05，过去半世纪，论文数量剧增，颠覆性论文和技术却减少了精选

https://blog.sciencenet.cn/blog-41174-1370584.html

[3] 腾讯，2023-01-28，颠覆性创新直线下降，科学家开始“谨小慎微”了？

https://new.qq.com/rain/a/20230128A04UQD00

[4] 生物世界，2023-01-06，Nature：论文与专利越来越多，但突破性成果却越来越少

https://news.bioon.com/article/2c42e5488872.html

[5] Michael Park, Erin Leahey, Russell J. Funk. Papers and patents are becoming less disruptive over time [J]. Nature, 2013, 613: 138–144.

doi: 10.1038/s41586-022-05543-x

https://www.nature.com/articles/s41586-022-05543-x

[6] Max Kozlov. ‘Disruptive’ science has declined — and no one knows why. Nature, 2023-01-04

doi: 10.1038/d41586-022-04577-5

https://www.nature.com/articles/d41586-022-04577-5

[7] Rima-Maria Rahal, Susann Fiedler, Adeyemi Adetula, Ronnie P.-A. Berntsson, Ulrich Dirnagl, Gordon B. Feld, Christian J. Fiebach, Samsad Afrin Himi, Aidan J. Horner, Tina B. Lonsdorf, Felix Schönbrodt, Miguel Alejandro A. Silan, Michael Wenzler & Flávio Azevedo. Quality research needs good working conditions [J]. Nature Human Behaviour, 2023-02-08

doi: 10.1038/s41562-022-01508-2

https://www.nature.com/articles/s41562-022-01508-2

[8] Amber Dance. Stop the peer-review treadmill. I want to get off [J]. Nature, 2023, 614: 581-583.

doi: 10.1038/d41586-023-00403-8

https://www.nature.com/articles/d41586-023-00403-8

[9] 来昕，2023-02-12，当今科研界的短期雇佣方式已经成了高质量和创新性科研的最大阻碍！精选

https://blog.sciencenet.cn/blog-3518723-1375836.html

[10] 2022-01-14，废话的胜利：“精致而平庸”的论文是怎么发上顶级刊物的？

https://baijiahao.baidu.com/s?id=1721917651029877855&wfr=spider&for=pc

https://ishare.ifeng.com/c/s/v002Jp5DFzdH3lFRG5toTmcDqGnY9jd9wHZ--aSCNq19ynrA__

https://view.inews.qq.com/a/20220114A07CS700

[11] Dennis Tourish. The triumph of nonsense in management studies [J]. Academy of Management Learning & Education, 2020, 19(1): 99-109.

doi: 10.5465/amle.2019.0255

https://journals.aom.org/doi/10.5465/amle.2019.0255

[12] 2019-11-19, 同行评议的局限性和改进之策[J]. 《科技中国》2019年第十一期pp.34-36. 杨正瓴. 同行评议的局限性和改进之策[J]. 科技中国, 2019, (11): 34-36.

http://www.casted.org.cn/channel/newsinfo/7562