再论同行评议制的局限性和适用性

2019-4-29 09:29

阅读：16328

标签：同行评议, 局限性, 适用性

以前我写过几篇博文【1-2】讨论同行评议制存在的问题，这篇就算做个总结吧，简单概述下同行评议制的局限性和适用性。

按英国Boden教授【3】的观点，同行评议（方法）是指：“由从事该领域或接近该领域的专家来评定一项工作学术水平或重要性的一种机制（活动）。”后来，同行评议由方法演变成了一种约定俗成的制度,其广泛用于论文评审、项目评审、科技成果鉴定和科技奖励评定等。

同行评议制从诞生起就存在与生俱来的缺陷。例如，在实行同行评议制的美国国家科学基金会的历史上, 曾两次出现对同行评议制的不信任案, 要求国会出面调查同行评议中的不公正性。王平与赵子良【3】总结了同行评议制的固有缺陷：（1）无法堵塞人情关系；（2）无法防止“马太效应”；（3）难以堵塞剽窃与造假行为。

以下以论文评审为例，再谈谈同行评议制的适用性。

先看看废除同行评议制怎么样？如果没有同行评议制，那么那些违反人类业已公认科学原理的论文、homework式的论文、逻辑混乱的胡扯论文等就会登堂入室，譬如“永动机”类的论文或许会刊登在期刊上误导“吃瓜群众”。显然，同行评议专家在甄别上述“糟糕”论文方面容易达成一致——拒稿。由此看来，虽然同行评议制不是万能的，但没有同行评议制是万万不能的。

那么，在甄别高创新性工作方面，同行评议专家能否展现出“火眼金睛”的功力呢？创新性越强的论文越容易发表在高大上的期刊上吗？

2015年《PNAS》发表的一篇文章【4】指出：同行评议专家常常推荐接受平庸论文而拒绝有开创性贡献的论文；2016年《PNAS》发表的另一篇文章【5】指出：同行之间的竞争会导致更多不公平的评议、降低评议意见的一致性，以至于把不少高质量的工作拒之门外；2017年《Nature》发表的一篇文章【6】指出：高创新性论文倾向于发表在较低影响因子的期刊上。这意味着同行评议制通常适用于识别“糟糕”工作与“从1到N”的工作，而难以胜任甄别“从0到1”的工作。

在2009年以前，我们无论将稿件投到中文期刊还是英文期刊，几乎“百发百中”，因为那都是改进式的工作。搞笑的是，评议专家往往给予此类稿件相当高的评价。例如，我们考虑岩质平面滑动型斜坡的滑面介质由应变软化和应变硬化介质组成，引入突变理论和混沌动力学理论分析其演化过程，写了篇比过去工作有些进步的“鸡肋”论文《Nonlinear evolutionary mechanisms of instability of planar-slip slope: catastrophe, bifurcation, chaos and physical prediction》，投稿到本领域内的权威SCI期刊《Rock Mechanics and Rock Engineering》，该期刊返回的审稿意提及：“The referees are favourable to publishing the paper based on the motivation that the topic is interesting and contributes in an important manner to the state of the art.”呵呵。

然自从我们2009年一头扎进“锁固段”中，提出锁固段脆性破坏理论以来，麻烦来了，论文发表开始变的困难重重。记得2009年下半年，我们把《崩滑灾害临界位移演化的指数律》投稿到《岩石力学与工程学报》，没过一周收到了退稿意见，大意是“斜坡的地质条件很复杂，即使存在锁固段，锁固段也应有多种类型。每种类型锁固段受降雨、地震、开挖等作用，其演化过程也很复杂，不可能存在位移比值常数1.48。”意见很明确，认为我们在胡扯，专家不相信我们的结论。看到该审稿意见，我相当不服觉得应该申辩下，立马打电话给该期刊常务副主编说“至于存不存在常数，相不相信论文的结论，不要靠常规经验和想象做出判断。需要提醒的是，如果专家认为我们的公式推导在假设条件、推导过程、公式简化方面有问题，请指出具体问题在哪里？如果专家认为我们的滑坡实例分析有问题，也请告诉我们具体问题在哪里？如果指不出具体问题所在，靠拍脑袋做决定，这不是科学的做法，则拒稿理由不成立。”后来，该期刊另找了别的同行专家，该论文才得以面世。

纵观科学史，高创新性工作在初期均难得到同行认可和支持，这历来是一种常态，其原因在于同行专家的“认知局限”【7】或“利益冲突”。关于此，丁肇中先生【8】曾说过一句名言：“专家评审并不是绝对有用的，因为专家评审是依靠现有的知识，而科学的进展是推翻现有的知识。”一般说来，论文的创新程度越大，则“离经叛道”的程度越大，初期被别人理解的难度也越大。换句话说，在原创初期，真理通常掌握在少数人手里。

如何提高专家甄别高创新性工作的能力呢？除不断提升自己的科学鉴赏力外，重要的一点是：要看某项工作本身的逻辑自洽性和初步证据的强壮性，而不应看与过去认识的一致性。即使该工作不够系统和深入，也不要轻易否定，而应鼓励发表。如此，才能保护创新火苗初期不被熄灭，才可能使“星星之火得以燎原。”这应是任何一个合格的评议专家职责所在！

参考

【1】再扯扯“同行评议”的适用性

http://blog.sciencenet.cn/blog-575926-1061673.html

【2】如何发表NI（Nature Index）论文？

http://blog.sciencenet.cn/blog-575926-1100706.html

【3】王平，宋子良(1994). 同行评议制的固有缺点与局限性.科技管理研究，(4),22-26.

【4】Siler, K., Lee, K., & Bero, L. (2015). Measuring the effectiveness of scientific gatekeeping. Proceedings of the National Academy of Sciences,112(2), 360-5.

【5】Robert L. Goldstone，Dirk Helbing (2016). Peer review and competition in the Art Exhibition Game.Proceedings of the National Academy of Sciences,113(30),8414-8419.

【6】Paula Stephan, Reinhilde Veugelers, Jian Wang (2017). Blinkered by bibliometrics. Nature, 544(7651) 411-412.

【7】）文双春，2016-08-19，基金挂了只因没创新或评委不懂？

http://blog.sciencenet.cn/blog-107667-999493.html

【8】丁肇中：一生最重要选择就是只做一件事

http://news.sciencenet.cn/htmlnews/2014/10/305802.shtm