林墨分享 http://blog.sciencenet.cn/u/ZJUlijiang 分享以科学家为对象的研究论文

博文

把已经发表的论文重新投稿,你猜会发生什么 精选

已有 122856 次阅读 2021-3-10 10:41 |系统分类:科研笔记

说明:本博客与微信公众号“林墨”同步更新,所有内容均为原创,可授权转载请扫码关注“林墨”公众号。

1982年,来自北达科他大学(University of North Dakata)的Douglas P. Peters 和来自康奈尔大学的Stephen J. Ceci 做了一项实验,我们不妨称之为“重复投稿实验”,太精彩,以至于我希望有人能把这个实验写进某本教科书。这篇论文值得被记住:

1.jpg

在这个实验中,他们从12个知名心理学期刊上挑选了12篇美国知名心理学系发表的论文,删除论文中的作者与机构,编造了新的机构名称和作者姓名,然后投稿至这12篇论文原本发表的期刊,结果……

8篇论文被拒了,理由竟然都是方法存在严重缺陷。

2.jpg

注:图片来源于网络

作为科学守门人的期刊编辑和审稿人竟然如此靠不住。

且慢,总感觉哪里不对。

原文中的机构是知名机构,原文中的作者是知名作者,而重新投稿的论文中的机构和作者姓名是瞎写的,审稿人在审稿的时候会不会受机构与作者的声誉影响?有可能,因为这12个期刊都是单盲审稿制度,也就是说,审稿人知道作者是谁,但作者不知识审稿人是谁


那么,论文质量就那么不重要吗?


有没有可能不是的质量的问题,而是之前的审稿人水平太差,让这些论文得以发表,重复投稿时,正好遇到的审稿人水平都比较高。不太可能,如果审稿人的水平(分高、低两种)是随机分布的,那两次审稿过程中低-高组合的概率是1/4=0.25,也就是说,重复投稿的论文有25%的概率会因为审稿人的水平变化被拒,但实际结果是:12篇论文中有3篇被编辑和审稿人发现是重复投稿,另外9篇送审之后,8篇被拒了,8/9=0.89,这概率也太高了吧(有兴趣的同学可以用非参数假设检验验证)。

有没有可能不是质量的问题,而是审稿人其实读过或者听过这些论文,审稿的时候虽然没发现是重复投稿,但不觉得这些论文贡献新知识了,所以就拒稿了。不太可能,Peters 和Ceci查阅了拒稿意见,发现几乎都认为方法存在严重缺陷,而没有审稿人认为“内容太老”、“没有贡献新知识”、“相似研究已经有人做过了”等等。

有没有可能不是质量的问题,而是两次投稿时间间隔太久,科技的发展把老的论文淘汰了,所以重复投稿时,审稿人一眼就看出过时了?不太可能。Peters 和Ceci在挑选样本的时候,特意选了在过去18-32个月之间发表的论文,这个领域(心理学)、这些论文不至于让审稿人一看就觉得太老。


为什么审稿系统发现不了重复审稿?


因为,1982年可能还没有审稿系统,1982年更没有抄袭检测系统。


为什么审稿人发现不了重复投稿?


有没有可能是这9篇论文水平太差,审稿人根本不会读到?不太可能。因为Peters 和Ceci在挑选样本的时候,特意选了心理学领域12个知名期刊,同时,这12篇论文的被引次数都在期刊的平均水平以上。


如果这就是同行评议的真相,我们可以做些什么?


Peters和Ceci在1982年做出的建议如下:

(1)建立数据库。Peters和Ceci在1982的时候一定没想到,他们关于建立 computer bank (原文的用词)的想法后来被叫做 database,这一点,现在的审稿系统已经实现了,同时,审稿系统里的抄袭检测功能让重复投稿不太可能。

(2)建立对审稿人的评价机制。Peters和Ceci认为可以让作者根据审稿意见对每一位审稿人的水平(是否公正、是否认真、是否具有建设性)进行评价,尽管作者不知道审稿人是谁,但评价结果主编和编辑可以看到。40年过去了,这一机制仍然没有实现。

(3)建立开放同行评议制度。惊为天人!让论文连同审稿意见和作者回复一起发表,这难道不是《Nature Communications》 等少数期刊倡导并实践的Open Peer Review 吗?原来40年多前就被提出来了。这一想法(原文的用词是Open Peer Commentary)是1979年Stevan Harnad提出的,这篇文章值得被记住:

3.jpg



屏幕快照 2019-08-02 上午8.27.42.png

Peters, D. P. , & Ceci, S. J. . (1982). Peer-review practices of psychological journals: the fate of published articles, submitted again. Behavioral & Brain Sciences, 5(02), 187-195. 

Harnad, S. (1979). Creative disagreement. Sciences, 19, 18-20.











屏幕快照 2020-02-28 下午2.02.17.png













 








https://wap.sciencenet.cn/blog-1792012-1275931.html

上一篇:科学家未来的学术影响力可预测吗?
下一篇:坏血病、林德医生和史上第一个对照实验
收藏 IP: 203.218.252.*| 热度|

21 檀成龙 郁志勇 段含明 张江敏 李东风 郑强 陈南晖 黄永义 胡大伟 杨金波 武夷山 俞立平 王兴 宁利中 杜永军 李毅伟 杜占池 彭振华 梁洪泽 杨正瓴 赵凤光

该博文允许注册用户评论 请点击登录 评论 (13 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-29 16:06

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部