精选
同行评审危机：如何修复这一不堪重负的系统
期刊和资助机构正试图提高压力之下评审流程的速度和效率。
插图：大卫·帕金斯
位于智利的甚大望远镜（Very Large Telescope）配备了多单元光谱探测器（MUSE），能让研究人员探测最遥远的星系。这是一款颇受欢迎的仪器：在10月至次年4月的下一个观测周期，科学家们申请的观测时间已超过3000小时。但问题来了，尽管MUSE被誉为“宇宙时光机”，也无法在短短7个月内挤出379个夜晚的工作时间。
运营这台智利望远镜的欧洲南方天文台（ESO）通常会让专家小组筛选出最有价值的申请。但随着申请数量激增，负责评分的科学家们肩上的担子也越来越重。
“这负担简直难以承受，”德国加兴市欧洲南方天文台观测项目办公室的天文学家南多·帕塔特说。因此，2022年，欧洲南方天文台将这项工作交回给了申请者——想要获得观测时间的团队还必须评估竞争对手提交的相关申请。
这一变化是应对同行评审劳动力危机的一种日益流行的办法。同行评审是指在决定资助或发表前，由专家对 grant 申请和研究手稿进行评估和筛选的过程。
随着学术论文数量逐年增加，出版商和编辑们抱怨说，要对所有稿件进行评审变得越来越难。一些资助机构（如欧洲南方天文台）也很难找到评审人。
随着这一系统所承受的压力越来越大，许多研究人员指出，期刊上出现的低质量或错误百出的研究，正表明同行评审系统未能坚守严谨性。还有人抱怨说，繁琐的 grant 评审系统阻碍了令人兴奋的研究想法获得资助。
这些担忧由来已久。自同行评审存在以来，它就一直被指责为一个迟缓、充当守门人、充满偏见的机制。但一些数据表明，不满情绪正在加剧。新冠疫情爆发后，出版物数量激增，给该系统带来了额外压力，这促使人们开始关注提高同行评审速度和效率的方法——各期刊纷纷进行试验，从给评审人付费到提供更结构化的指导，不一而足。
也有人认为，同行评审已经变得太不可靠。他们建议进行彻底改革，甚至包括逐步完全废除这一做法。
比你想象的更晚近
尽管同行评审常被描述为科学研究的基石，但如今这种形式的同行评审在期刊和资助机构中普及开来，其实只是20世纪60年代到70年代的事。在此之前，评审手稿的做法更为随意。马里兰大学帕克分校的科学史学家梅林达·鲍德温研究过学术界同行评审系统的发展，她说，虽然有些期刊会采用外部评审，但许多编辑完全根据自己或一小群学术专家的专业知识来判断要发表什么内容。
但随着公共研究资金大幅增加，手稿数量不断增多，所有期刊的编辑都倾向于采用外部评审，以避免让一小群评审人不堪重负。即便到现在，外部评审也远非一个统一的标准。相反，它是一系列多样化的检查和筛选做法，在不同期刊、学术领域和资助机构之间存在差异。
20世纪后期形成的这一体系，如今正面临类似的危机：手稿太多，评审人太少。科学系统正源源不断地产出越来越多的研究论文¹，但评审人队伍的增长速度似乎跟不上。
这一问题的证据主要是轶事性的，因为期刊往往对自己的信息保密。但一些数据已经浮出水面。2018年，Publons网站（现归分析公司科睿唯安所有）的一份报告分析了2013 - 2017年间，在一个广泛使用的同行评审工作流工具中提交的超过1000万份手稿的匿名信息。报告发现，随着时间的推移，编辑们不得不发出越来越多的邀请才能完成一次评审（参见go.nature.com/4k8xbfp）。Publons还对11000名研究人员进行了调查，结果警告说“评审人疲劳”现象正在加剧。最近，从眼科学²到微生物学³等多个领域都报告说，越来越多的科学家拒绝评审邀请。东京咨询公司学术智能（Scholarly Intelligence）的创始人、分析师克里斯托斯·佩特鲁在上个月发布的一篇博客中，分析了16家主要科学出版商的手稿周转时间。他发现，从手稿提交到接受的平均周转时间在增加——现在是149天，而2014年为140天，这十年间上升了约6%（参见go.nature.com/4mkm29d）。
英国物理学会出版社（IOP Publishing）是伦敦英国物理学会的出版部门，它在2020年和2024年分别调查了研究人员（主要是物理和环境科学领域）的经历。2024年，在约3000名受访者中，有一半的人表示，在过去三年里，他们收到的同行评审请求数量有所增加（参见go.nature.com/4h7gagv）。令人鼓舞的是，只有16%的人表示收到的请求太多（低于四年前的26%），但来自欧洲和美国的受访者更有可能这么说（参见“评审人的压力”）。
来源：《2024年同行评审状况》/英国物理学会出版社（https://go.nature.com/4JYSDTS）
评审奖励
资助机构和期刊开展的许多试验，旨在激励研究人员进行更多评审，并让他们更快地提交评估意见。
一些期刊尝试公开评审周转时间，这使得评审完成时间略有缩短，主要是在资深研究人员中。另一些期刊则为高效的评审人颁发奖项，尽管有证据表明，这样的奖项会导致评审人在随后几年完成的评审更少，可能是因为他们觉得自己已经尽了本分⁴。另一个想法是改变研究评估做法：今年4月，《自然》杂志的出版商施普林格·自然对6000多名科学家进行的一项调查发现，70%的人希望他们的同行评审贡献能被纳入工作评价，但只有50%的人表示目前确实如此（《自然》新闻团队在编辑上独立于其出版商）。
最终的激励可能是经济上的。关于给评审人付费的争论多年来一直摇摆不定。支持者认为，这公平地反映了评审人所做的工作和所提供的价值。2021年，布达佩斯罗兰大学的心理学家巴拉兹·阿策尔及其同事估计，2020年评审人在报告上的工作时间超过1亿小时⁵。按学者的平均工资计算，这一贡献价值数十亿美元。然而，批评者警告说，如果给研究人员付费让他们进行评审，可能会产生利益冲突和不正当激励，而且大多数学者表示，他们是在有薪工作时间内履行评审职责的。
潜在的评审人很少说明他们拒绝评审的原因。但阿策尔认为，越来越多的人反感提供免费服务，而商业出版商却借此盈利。马萨诸塞州波士顿的科学诚信顾问詹姆斯·希瑟斯就强烈提出了这一点，他在2020年的一篇博客中表示，他只会接受来自学会、社区和其他非营利性期刊的无薪评审邀请。大型出版商会收到一张450美元的发票。
他开玩笑说，此举产生了适得其反的效果。虽然来自商业出版商的请求停止了，但来自其他类别的请求却增加了。
今年，有两家出版物报道了给期刊评审人付费的试验结果。《重症监护医学》（Critical Care Medicine）为每份报告提供250美元。这项由加拿大政府资助的试验显示，付费使得评审人接受请求的可能性略有提高（接受邀请的比例从48%上升到53%），周转时间也从12天略微缩短到11天。评审报告的质量相当⁶。但该期刊的副主编、加拿大金斯顿女王大学的重症监护医师大卫·马斯洛夫说，该期刊没有资源继续为评审付费。
相比之下，英国剑桥的非营利组织生物学家公司（Company of Biologists）在其期刊《生物学开放》（Biology Open）上进行的付费评审试验取得成功后，正在继续推行这一做法。该期刊向评审人支付每份评审220英镑（295美元），而且与《重症监护医学》不同的是，它要求评审人在4天内给出初步回应，以便编辑在稿件提交后一周内决定是否接受或拒绝。
试验中，每篇稿件都在7个工作日内得到了首次决定，平均周转时间为4.6个工作日⁷。相比之下，该期刊在标准评审流程下的周转时间为38天。《生物学开放》的执行主编亚历杭德拉·克拉克说，期刊工作人员一致认为评审质量得到了保证。
“如果这一做法具有可扩展性，那么我们需要想办法为其提供资金，”克拉克说，“我们显然希望避免通过提高文章处理费（APCs）来将部分成本转嫁给作者，但这正是我们正在讨论的问题。”
扩大评审人队伍
一些资助机构也很难找到评审人。“要找到有时间、有能力或愿意评估我们申请的人，变得越来越困难，”德国汉诺威的私人资助机构大众基金会的团队负责人汉娜·德内克说。尽管为一天的评审工作提供近1000欧元（1160美元），情况依然如此。
与欧洲南方天文台一样，大众基金会也通过让申请者评审同一资助轮次中的其他申请来解决这一问题，这种系统被称为分布式同行评审（DPR）。
6月30日，在伦敦举行的一次会议上，英国的资助机构宣布分布式同行评审试验取得成功，他们表示，这种方式评审 grant 的速度是典型评审流程的两倍。为了避免评审人可能对竞争对手持负面态度的担忧，申请被分成不同的组。研究人员不会评审自己所在组的申请，因此不会影响自己申请获得通过的机会。
大众基金会热衷于分布式同行评审的一个原因是，它将决策权从资深和更知名的科学家手中移开。“有人可能会说，这些人有点像守门人，可能会把其他人拒之门外，”德内克说。
由于申请数量增加，不堪重负，一些资助机构转向了“需求管理”，对于特定的 grant，每所大学只考虑一份申请。但伦敦大学学院研究之研究机构的信息专家斯蒂芬·平菲尔德指出，这只是把评审负担转移到了其他地方。“各机构 then 必须进行非正式的同行评审，以选择他们可以提交的申请。这只是转移了负担，”他说。此外，各机构为了准备质量保证评估（如英国的研究卓越框架），还必须对研究工作和个人进行额外的评审。
“很少有对同行评审系统的分析会考虑到这些非正式的内容。然而，这非常耗时，”平菲尔德说。
最终，解决资助机构和期刊劳动力问题的最具可扩展性的方案是扩大评审人队伍。平菲尔德指出，需要评审的研究论文数量增长主要来自那些科研不太发达的国家的作者，而评审人往往来自西方同一群资深学术专家。
2016年的一项研究表明，20%的科学家在一年中完成了69%到94%的评审工作⁸。“同行评审人队伍比作者队伍小，”平菲尔德说，“我认为人们正感受到这种压力。”
一个问题是，编辑自然会倾向于邀请那些他们认为做得好且能按时提交报告的评审人。华盛顿大学的生物学家卡尔·伯格斯特龙和北卡罗来纳州立大学的统计学家凯文·格罗斯在分析同行评审所面临的压力时指出，扩大评审人队伍可能会导致评审质量下降或准确性降低。他们的研究成果于7月作为预印本发布⁹。
许多科学出版商现在正利用技术帮助自动搜索更广泛的评审人队伍。例如，2023年，一种允许编辑根据学科专业知识和其他标准在Scopus数据库中搜索评审人的工具，被整合到全球许多期刊使用的Editorial Manager手稿系统中。其他出版商也推出了类似的软件。
另一个正在流行的想法是联合评审：一位资深学者与一位早期职业研究人员配对，这样既能引入新的评审人，又能同时培养他们。
提高效率和质量
让评审更高效（或许还能提高质量）的一种方法是给评审人一系列需要解决的明确问题。这种形式被称为结构化同行评审。
去年，研究人员公布了一项关于评审人对这一想法反应的严格测试结果。
“作为编辑，你收到的同行评审报告并不总是全面的。结构化同行评审旨在让他们关注我们想得到答案的问题，”斯坦福大学的出版实践专家、《研究诚信与同行评审》杂志的联合主编马里奥·马利奇说。他与阿姆斯特丹爱思唯尔的出版创新经理巴哈尔·梅赫马尼共同开展了这项研究。
2022年8月，爱思唯尔（Elsevier）开展了一项试点项目，要求评审人在评估220种期刊收到的论文时，回答9个具体问题。马利奇（Malički）和梅赫马尼（Mehmani）对部分由两名独立评审人评估的手稿进行了分析，发现与试验开始前评估的手稿相比，评审人在最终建议上（例如数据分析是否正确、实验操作是否恰当等）更容易达成一致¹⁰。（不过，评审人达成一致的情况仍然不多：试验期间的一致率为41%，高于试验前的31%。）
如今，爱思唯尔已有300多种期刊采用结构化同行评审。其他期刊也对此理念进行了变体实施。
马利奇补充说，提出具体问题似乎有助于暴露评审知识中的漏洞，评审人更有可能提出应由他人检查统计数据或建模等技术方面的内容。
那些推动提高同行评审系统透明度的人也认为，此举有助于提升评审质量——他们鼓励期刊将评审报告与已发表论文一同公开，并让评审人署名。
支持者认为，这可以提高评审报告的地位，从而鼓励更多人同意撰写评审报告。此外，这还有助于回应“许多期刊发表劣质研究”的批评，这种批评削弱了人们对整个同行评审过程严谨性的信任。由于期刊的同行评审传统上是保密的，很难判断评审人是认真审阅了论文，还是只是敷衍了事、轻易通过。
平菲尔德（Pinfield）认同公开评审报告有助于提高质量：“如果评审人知道自己的工作将被公开，有理由认为他们会确保评审质量。”
一些期刊多年来一直在试验透明化的同行评审。今年，《自然》（Nature）扩大了试验范围，将其变为强制性做法（《自然》新闻团队在编辑上独立于其手稿编辑团队）。该期刊在6月的一篇社论中表示：“我们这样做的目的是揭开许多人眼中科学的‘黑箱’，让人们了解一篇研究论文是如何诞生的。这有助于提高透明度，并（我们希望）增强人们对科学过程的信任。”
减少评审？
解决评审人负担过重问题的一个明显办法是：减少同行评审。
荷兰莱顿大学的信息科学家卢多·沃尔特曼（Ludo Waltman）认为，部分由于论文数量激增，部分由于科学日益专业化和复杂化，系统没有足够的能力对所有内容进行高质量的同行评审。“因此，许多文章发表在仅提供相当肤浅同行评审的期刊上，”他说。他还补充道：“我们需要问问自己，是否所有研究成果都真的需要经过同行评审。”
另一些人认为，评审系统阻碍了真正令人兴奋的科学研究。纽约市的心理学家兼博主亚当·马斯特罗亚尼（Adam Mastroianni）曾批评当前的同行评审系统既昂贵又低效，他说：“科学上的每一个重大突破，都伴随着有人说这是不可能实现的。当你让这些人担任同行评审时，他们会说‘这不可能实现，因为我不会资助它，也不会发表它’。”
德内克（Denecke）表示，从根本上减少评审人在资助项目中作用的试验，在私人资助机构中最为常见——或许是因为它们使用的不是公共资金。大众基金会（Volkswagen Foundation）是几个尝试资助抽签的组织之一。在这种机制下，所有通过基本质量评估、申请某笔资金的项目，都有平等的随机机会获得资助。理论上，这减轻了评审人的负担，他们不再需要仔细甄别和比较细微的差异。
但德内克说，大众基金会已经放弃了进一步的资助抽签，因为评估初始申请的评审小组希望最终确定入选项目。“所以，最终还是由评审人推荐哪些项目应该获得资助，”她说。
荷兰蒂尔堡大学人文与数字科学学院的管理人员在为资助项目开展类似的抽签时¹¹，他们邀请申请者到一个演讲厅，观看工作人员从木箱中抽取纸质选票。
马蒂恩·范德米尔（Martijn van der Meer）曾是蒂尔堡大学负责任研究政策顾问，他参与组织了这次抽签，并与人合著了一篇关于该抽签的论文。他说，这场景有些奇怪。一些观众不确定是否应该鼓掌。研究人员表示，他们认为这次试验是成功的——不过，获得资助的人“不像通过同行评审获得资助时那样开心”，范德米尔说。
其他资助机构正要求评审人特意关注创新型科学研究。哥本哈根附近的维勒姆基金会（Villum Foundation）指示评审人，在评选最高250万丹麦克朗（约合39万美元）的资助项目时，优先考虑那些他们认为“尚不成熟、风险过高甚至天真”的项目。
与此同时，在出版领域，预印本的兴起正促使一些人测试不同的手稿同行评审模式。其中一个想法是转向一种有时被称为“先发表、再评审、后整理”的系统。在这种模式下，手稿先发布到预印本服务器，经过评审后，最终推广到特定的研究社区。在这种模式下，仍然需要有人组织手稿的同行评审。然而，它确实减轻了评审系统的压力——消除了将经过评审却被拒的论文发送到另一家期刊后再次接受评审的过程。
伯格斯特龙（Bergstrom）和格罗斯（Gross）在对同行评审系统压力的数学建模中写道：“同行评审界的大部分负担，源于需要为已被其他期刊拒绝的手稿重新征集评审意见。”⁹
托马斯·吉约莫（Thomas Guillemaud）是总部位于巴黎的农业研究所INRAE的进化生物学家，他协助运营一个2017年成立的、独立于期刊的同行评审项目。该项目名为“同行社区联盟”（Peer Community In），为研究人员提供评审报告，他们可以将这些报告与论文一同提交。“因此，同一组同行评审、决定和作者回复，可以被不同的期刊多次使用，”他说；现在许多期刊已经接受附带这些评审报告的手稿。类似的项目还有2019年成立的“评审共享平台”（Review Commons）。
但沃尔特曼表示，这些进展只能部分减轻系统的压力。他主张建立一个“大多数研究成果不经过同行评审”的系统，不过这些成果会经过一些基本筛选，类似于某些预印本服务器的流程。他建议，不必为所有内容组织评审，研究人员会自然地就感兴趣的手稿展开公开的“有意义对话”——这意味着有些预印本可能不会得到评论。他说，建立这一系统的第一步是，不再给予经过同行评审的成果比预印本服务器上发布的文章更高的特殊地位。
总部位于伦敦的生物医学资助机构维康信托（Wellcome）的开放研究负责人汉娜·霍普（Hannah Hope）表示，传统同行评审的形式可能会拆分为更小的筛选步骤，以集中时间和资源。例如，“技术验证”筛选就是一种较小的评估，它仅确保项目的数据已发送到指定的存储库，并带有正确的元数据。
未来几年，有一个趋势似乎很明确：人工智能（AI）将在评审过程中发挥更大作用——无论是在资助机构还是期刊中——其目的是减轻评审人的负担。许多出版商正在试验利用AI对论文进行初步检查，有时还会向评审人指出潜在问题。
大多数出版商强调，他们使用AI工具是为了帮助评审人，而不是取代他们——但人们对AI软件在评审过程中的作用仍普遍存在担忧。
难以研究
马利奇说，鉴于同行评审在研究中的规模和重要性，测试和评估该系统的运行情况，以及如何引入变革（包括旨在改善评审人招募和留存的变革），却困难得令人沮丧。
“这些系统不是为试验而设计的。我知道这听起来很荒谬，但这确实是技术上的限制，”他说。“所以，我们一直没有对同行评审进行研究。”
例如，当马斯洛夫（Maslove）在他的期刊中引入评审人付费制度时，他形容这种经历是有风险的，就像“在飞行中修理飞机”。
尽管系统压力重重，许多研究人员仍然认为评审论文是他们日常工作的一部分。马斯洛夫认为，为顶级期刊评审是为自己所在领域做贡献的机会。“在极少数情况下，当我收到这些期刊的评审邀请时，我会放下手头的工作，接手这项任务，并乐意回应，”他说。
转载本文请联系原作者获取授权，同时请注明本文来自孙学军科学网博客。
链接地址：https://wap.sciencenet.cn/blog-41174-1496777.html?mobile=1
收藏
