氢分子医学分享 http://blog.sciencenet.cn/u/孙学军 对氢气生物学效应感兴趣者。可合作研究:sunxjk@hotmail.com 微信 hydrogen_thinker

博文

eLife新规和同行评议的未来发展 精选

已有 6958 次阅读 2022-11-19 11:43 |系统分类:海外观察

eLife正在进行一项试验,由作者决定如何回应同行评议中提出的问题。

eLife采用的同行评议形式与大多数其他期刊的同行评议形式有许多不同之处:例如,编辑和审稿人在决定投稿前会讨论他们的意见,然后向作者发送一封评议信,其中整合了这些意见,并概述了作者需要做什么才能让他们的稿件被接受。不鼓励多轮审阅和修改,决定书和作者回复会随文章一起发表。

eLife启动一项试验,测试一种更激进的同行评审形式的可行性。在这种方法中,作者将控制发表的决定,以及他们如何回应同行评审人员的评论。其基本理念是,一旦编辑邀请了一篇手稿进行全面的同行评审,杂志就承诺将该作品连同评审报告、决定书和作者回复一起发表。新方法的潜在好处包括在研究评估中减少对期刊品牌的强调,重新平衡作者、编辑和审稿人之间的关系,以及提高期刊出版的效率。试用过程将在“初始提交”阶段向所有作者提供,直到有300人选择加入。新程序的第一阶段将与我们现有的编辑程序相同:每个最初提交的文件将由eLife高级编辑评估,通常与一个或多个其他编辑协商,以确定最高科学标准和潜在意义的工作。这些论文的作者将被邀请提交一份完整的论文,并将其发送给外部推荐人进行同行评审。目前,约有三分之一的初次提交会接受同行评审,大约有一半的初次提交会被接受发表。与我们当前过程的关键区别在于,如上所述,决定将稿件发送给外部评审人员进行同行评审将等同于接受其发表。

在这种新方法下,一旦所有的评论都完成了,编辑和审稿人将讨论稿件和他们的评论,就像现在这样,编辑将起草一份决定信,列出作者在回复中必须解决的所有要点。然而,作者可以决定如何回应这些观点。例如,他们可能会决定进行额外的实验工作,他们可能会决定调整文章中的主张,他们可能会回应反驳信中的某些观点,或者他们可能会做以上所有的事情。如果在同行评议中发现了工作中的严重缺陷,作者可能会决定撤回论文。但最终,是否出版的最终选择将由作者做出。所有文章也必须遵守我们的期刊政策;那些没有被退回的将被退回给作者以解决他们的担忧。

一旦收到修订,编辑将在必要时与审稿人协商,评估作者如何回应同行评议中提出的问题,并在以下三个选项中做出决定:所有问题都已解决;一些次要问题仍未解决;或者重大问题仍未解决。

然后文章将被发表,编辑的评价出现在摘要末尾的显著位置。审稿人的报告、决定书和作者的回复也将被公布。作为试验的一部分,发表的文章将被指定为“研究通讯”,以区别于已经经历了通常eLife流程的文章。我们将收集有关试验结果的数据,并在未来几个月分享我们的研究结果。关于审判的更多细节可以在这篇博客文章中找到。

决定将稿件发送给外部审稿人进行同行评审,就等于接受其发表。

我们看到了这种新方法的几个潜在好处。

第一个好处是,在研究评估的背景下,它如何改变选择性期刊(eLife)的功能。期刊的名称不再被用作一篇文章可能质量的代理,而是成为对被认为对某个领域有重要贡献的工作进行批判性和透明评估的场所。当文章附有审稿人的详细想法,作者对他们的回应,以及编辑对作者回应的评估时,那些希望使用或评估文章中所报道的工作的人将有更多的信息可供使用。

第二个潜在的好处与作者和审稿人之间的关系有关。通过去除审查员的把关角色,同行评审过程可以专注于如何加强工作。审稿人会知道他们的评论很可能会被发表,他们将有机会因为精心设计和深思熟虑的建议而获得认可。作者也会被激励去提供最有力和谨慎的回应,因为编辑对他们回应的评估将向所有读者公开。通过这种方式,该过程建立在eLife现有的努力之上,将编辑过程转变为同行之间的建设性对话,并与我们培养更协作和更透明的科学文化的更广泛的使命相一致。

第三个好处与效率有关。许多有选择性的期刊在经过同行评议后会拒绝大部分文章,尽管这些文章中的大多数在其他期刊进一步评议后会继续发表。如果取消同行评议的把关功能,而精选的期刊成为对精选作品进行高质量评价的场所,它们将能够发表更多提交给它们的内容。这样的改变如果被广泛采用,将为作者、编辑和审稿人节省大量的时间和资源,例如,减少“审稿人实验”,减少因稿件从一个期刊“弹”到另一个期刊而被多次审稿给审稿人带来的负担。

这只是eLife长期改革方案的一部分。eLife的这次改革属于“蓄谋已久”,早在20186月到8月,eLife就已经试行过现在的改革方案。eLife当时的主编就解释说,改革的思路是来自eLife董事、霍华德休斯医学研究所(HHMI)成员的一篇文章。这篇文章不仅提供了这次改革的方案,还提供了进一步的路线图。按照这篇文章的方案,生命科学领域的出版可以分为三个阶段,第一阶段是传统出版模式,编辑负责分流和出版文章,同行评议到出版决定之间的过程对外保密。第二阶段是期刊由作者驱动的出版模式,编辑仍然负责分流,但是作者决定是否发表及何时发表,同行评议内容会一同发表。第三阶段,期刊会变成出版平台,完全由作者主导发表,审稿人则由作者自行寻找或者由学术社区提供。

生命科学领域的科学出版正在经历自2000年代初开放获取出现以来从未见过的实验和质疑时期,当时新的纯在线和开放获取期刊挑战了传统的印刷发行和订阅费模式。科学出版的最新实验包括预印本、同行评审的开放模型和微型出版物(出版较小的单位,如个人观察)。然而,生命科学领域的大多数科学工作仍然是在17世纪皇家学会开创的过程之后传播的。这个过程(图1A)从作者向他们选择的期刊提交手稿开始,在这个过程中,编辑选择和同行评审最终导致编辑竖起大拇指/竖起大拇指的决定,决定该文章是被接受发表还是被拒绝。如果被拒绝,作者会在不同的期刊上重新开始,通常直到论文被接受在某个地方发表。订阅费(以单用户许可证和机构站点许可证的形式)和开放获取费是补偿出版商服务的两种主要付款方式。

出版商向消费者收取订阅费以换取期刊的硬拷贝,并将编辑确立为出版的守门人是有道理的,因为印刷和分发科学文章既昂贵又在后勤上具有挑战性。这些限制不再适用。我们在此建议重新考虑这种传统出版流程的特征 - 订阅商业模式以及期刊编辑,审稿人和作者的角色 - 目的是更好地将科学出版与数字环境和科学家驱动的研究工作流程保持一致。

科学出版的未来变化应努力确保研究成果从出版之时起免费提供。然而,我们在这里的论点超出了开放获取的范围。虽然我们认为开放获取是必要的,但这还不够:在当前的开放获取模式下,作者的出版费用为出版商接受了独立于其质量的论文创造了强烈的动力,从而增加了出版物成为付费广告的风险。所谓的掠夺性开放获取期刊的兴起,虚假的编辑委员会和虚假的同行评审,证明这种风险已经成为现实。防止开放获取费用损害期刊质量控制的最佳保险是使质量控制过程本身透明。从这个角度来看,提高出版过程的透明度是一个长期重要的问题。

论文是研究企业的主要智力产出,是评估科学家个人生产力和影响力的重要依据。专家评估现在是,将来也将继续是评判科学家及其产出的黄金标准。然而,我们认识到,研究质量和影响的额外指标是必要和有用的;质量速记指标可帮助科学家和非科学家在浩瀚的已发表手稿海洋中识别高质量的科学工作。目前,期刊水平被用作论文质量指标:假设文章在被认为享有盛誉的期刊上发表,则具有高质量和影响力。期刊编辑为其期刊设定标准,并相应地选择发表什么。像CellScienceNature这样的期刊被认为是生命科学领域最负盛名的期刊,旨在发表每个领域引用率最高的文章,因为一篇文章的引用次数是衡量其影响力的指标。最广泛使用的期刊指标是期刊影响因子——前两年在期刊上发表的所有文章在给定年份获得的平均引用次数。影响因子已经成为一个如此主要的指标,因为它在期刊之间区分得很好。平均而言,像《细胞》、《科学》和《自然》这样的期刊发表的论文被引率更高,因此影响因子更高。但就像任何依赖于平均值的指标一样,这个指标很容易被异常值所扭曲,例如被大量引用的论文。文章引用的分布实际上在具有明显不同影响因子的期刊之间显着重叠。

为什么所有期刊都发表不同影响力的文章?原因有三。首先,不同领域的引用率差异很大,一个领域的科学家数量及其转化潜力通常会增加引用率。其次,被选中的两到四名同行评审员对某篇论文的意见可能偶然不具有代表性,因此可能导致错误的发表决定。第三,没有人——即使是专家或编辑——在文章发表时有一个水晶球来准确预测它的最终影响。最后,只有研究数据的时间、复制和扩展才能真正验证实验结果和结论,并确定其长期影响。这些固有的局限性解释了为什么科学期刊总是会发表影响力不同的论文,尽管其编辑努力确保一致性。

特定期刊中文章影响力的可变性本身不会造成损害。损害来自学术激励制度,该制度将期刊名称(特别是期刊影响因子的必然指标)等同于给定论文的质量和影响力——实际上贬低了那些在影响因子较低的期刊上发表的论文,这些论文实际上具有很高的影响力,并高估了低质量的论文或影响因子高的期刊上的影响力。期刊宣传其影响因子,不幸的是,许多学术机构和资助者将其用于招聘和资助决策。生物医学研究企业的长期增长和最近联邦资金的停滞相结合,加剧了对研究资金、工作和高影响因子期刊出版物的过度竞争,并使影响因子成为研究质量和影响力更具腐蚀性的指标。特别令人担忧的是,下一代科学家认为有必要在《细胞》、《科学》和《自然》杂志上发表文章,以竞争教师职位。根据科学家发表文章的杂志而不是他们发表的内容来评估科学家,削弱了生物医学研究事业的重要要素,包括诚信、协作和加速进步。它以不受欢迎的方式塑造了科学家的行为,诱使他们夸大其工作的影响,选择被认为适合顶级期刊的研究课题,并避免公开分享数据和其他研究成果。

导致杂志水平成为学术评价的根本原因是同行评议的不透明。学术激励系统依赖于基于期刊的指标,如影响因子,而这些指标在评估个别科学家贡献的能力方面本质上受到限制?一个主要原因是出版过程的结构本身,特别是同行评审与出版决定的不透明。大多数期刊将同行评审作为编辑、审稿人和作者之间的保密交流,这使编辑可以灵活地使用自己的判断来决定发表什么。它使他们的发表决定成为评估过程的唯一可见结果,因此期刊名称及其影响因子作为唯一明显的质量指标。除了鼓励在科学家评估中广泛使用影响因子外,同行评审与编辑决定之间的紧密和不透明的联系还导致了出版中的其他严重问题:

同行评审的主要目的应该是向作者提供反馈,以便在发表前改进稿件。但是,为了做出出版决定,同行评审已经演变成一种帮助编辑决定论文是否适合其期刊的手段。科学家可能在技术问题上存在分歧,但至少他们可以同意不同意并保持技术话语的建设性。评估一篇论文是否足够新颖高于标准往往是同行评审过程中最激烈和最令人沮丧的方面,因为它更主观。确定具有广泛影响的论文非常重要,同行评审员可以通过适当描述有关工作的科学背景来为评估做出贡献。但是,该作品是否适合特定期刊不应该成为同行评审员关心的问题。

在高影响因子期刊上发表的激烈竞争可能会增加科学文章在发表前修订的频率和程度。虽然大多数论文通过审稿人和编辑建议的修订得到了显着改进,但科学家有一种感觉,即花在修订、重新提交和重新审查上的时间中有很大一部分没有增加足够的价值,并且不必要地延迟了研究结果的分享。

如果主要的质量控制以出版决定结束,则不会捕获对科学工作的重要长期评估。专家们知道他们所在领域的哪些论文经受住了时间的考验。但对于非专家来说,更难辨别哪些备受瞩目的论文是建立在哪些论文之上的,哪些是死胡同。由于其他原因,长期评估在今天至关重要:从数据生成到数据分析的转变作为研究中的限速步骤,以及研究的日益跨学科性质,即使是最好的同行评审员也面临挑战。我们怎么能期望同行评审员验证所有数据和结论的准确性,而这项工作可能花费作者最初进行分析所花费的很大一部分时间?虽然未来的技术解决方案可能会大大加快对研究数据的重新分析以获取此类解决方案的示例),但现在是时候承认发表前的同行评审只是科学评估的第一步。

总之,当前基于期刊的出版系统推动了影响因子在科学家评估中的使用,它使同行评审过程比它需要的更具对抗性,它延迟了研究结果的传播,并且未能捕捉科学文章的长期影响。

我们提出了三项更改,以解决前几节中描述的缺点。虽然这些变化可以独立实施,但它们共同承诺显着提高科学出版的透明度和效率:

1. 改进同行评审流程

2. 将科学文章的传播交到作者手中

3. 建立发表后文章评估系统

Scientific Publishing in the Digital Age – ASAPbio



https://wap.sciencenet.cn/blog-41174-1364418.html

上一篇:肿瘤内的细菌帮凶
下一篇:新前缀ronna和quetta表示10的27和30次方
收藏 IP: 117.135.14.*| 热度|

6 王从彦 王启云 杨正瓴 张坤 高友鹤 孙颉

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-29 23:51

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部