编者注：
在学术出版领域，同行评议是质量控制的核心环节。一个长期存在的争论是：对作者身份保密（即“盲审”）是否会使评议过程更加公平？直觉上，匿名似乎能减少偏见，但现实可能远为复杂。
印第安纳大学艺术与科学学院的Tim Pleskac教授与巴布森学院的Ellie Kyung、卡内基梅隆大学的Gretchen Chapman和芝加哥大学的Oleg Urminsky合作进行了一项迄今为止在该主题上规模最大的研究，发表在管理学顶级期刊《Management Science》上。他们的发现挑战了简单的二分法，揭示了匿名与非匿名评审在公平性、可靠性上的微妙差异和意外结果。
精心设计的研究方案
为了直接比较匿名与非匿名评审的效果，研究团队设计了一个严谨的现场实验。他们招募了112名高校教员担任评审人，对530份提交至某学术会议的稿件进行评审。
评审人被随机分配到匿名评审系统或非匿名评审系统。每个评审人平均评估约30份稿件。为了科学评估这两种评审过程本身的可靠性，研究团队特意将53份稿件（占总数的10%）同时分配给额外的三组匿名评审人和三组非匿名评审人（即每组稿件有更多独立评审）。
研究并未止步于会议录取结果。为了衡量评审结果的长期“预测效度”——即评审分数能否预测论文未来的成功——团队还做了两项追踪：首先，在会议期间，他们请现场听众（包括教师和研究生）对每场报告进行评分，代表学术同行的即时反馈；其次，更重要的是，在六年之后，团队追踪了这些投稿稿件最终在学术期刊上发表的情况及其发表期刊的水平。这为评估评审的长期价值提供了坚实依据。
公平性：并非单一答案
研究结果在“公平性”这一核心问题上，展现出一幅远比预期复杂的图景，且因作者特征不同而差异显著：
· 种族（亚裔作者）：匿名更有利。 研究发现，当评审是匿名时，第一作者为亚裔的投稿获得的评分显著高于非匿名条件下的评分。即使在研究人员严格控制了稿件质量、主题领域等13项其他作者和投稿特征后，这一差异依然存在。这一结果支持了“匿名可以减少基于种族或族裔偏见”的观点，也与过往研究中发现的亚裔申请者在获取联邦科研基金、研究生项目申请回电率等方面面临系统性劣势的现象一致。
编者注：研究中黑人、西班牙裔或美洲原住民作者样本量过少，无法得出具有统计学意义的结论，这本身也凸显了判断与决策乃至更广泛科学领域内多样性不足的问题。
· 性别：匿名反扩大差距？ 研究观察到一个引人深思且与种族模式不同的现象：在两种评审系统下，男性第一作者的评分都高于女性第一作者。然而，出乎意料的是，在匿名条件下，这个性别差距反而略微扩大了。Pleskac教授指出，这可能反映了该会议所涉及的统计学、计算建模、博弈论等数学密集型学科中存在的性别分布差异，也可能是由于某些传统上由男性主导的研究主题或视角被赋予了更高的隐性价值。他提出一个可能性：“非匿名评审人可能在知晓作者身份后，有意识地试图通过多纳入一些女性作者的作品来抵消潜在的性别差距。”当然，这一解释需要更多研究来验证。
· 职业资历：非匿名下的“双刃剑”。 作者职业阶段的影响在两种系统下也表现出明显差异。最清晰的模式是：当投稿拥有资深合著者（如教授）时，在非匿名评审中得分明显更高。与之形成对比的是，当第一作者是博士生或专职科研人员（通常处于职业生涯早期）时，他们在匿名评审中得到的评分反而低于在非匿名评审中的评分。Pleskac教授对此解读道：“这或许反映了非匿名评审人的一种倾向——当看到作者身份时，他们一方面可能更看重资深学者的工作，另一方面也可能有意识地想为身份可见的初级研究者创造机会。” 匿名则抹去了这种基于资历的（无论是正向还是负向的）潜在调节。
可靠性与预测力：令人警醒
除了公平性，研究团队还深入考察了两种评审系统的可靠性（不同审稿人之间的一致性）以及评审结果对论文未来成功的预测能力。结果同样发人深省：
· 一致性低，尤其对优秀论文。 比较两种系统，评审人对于哪些论文属于“较差”等级存在普遍共识。然而，在识别顶尖论文时，分歧巨大：评审人仅对40%的高分（属于前20%）投稿达成一致意见。即使是在同一评审系统（无论是匿名还是非匿名）内部，两个完全独立的评审小组对最优秀论文的选择，其重合度也低于50%。Pleskac教授对此直言不讳：“这意味着，根据我们碰巧邀请到的审稿人是谁，或者我们给他们的具体评审要求，最终选出的会议议程可能完全不同。”这强烈揭示了同行评审，尤其是对高质量工作的评判，存在固有的、显著的随机性。
· 作者特征和评审分数预测力微弱。 也许最说明问题的发现是：作者的任何特征——包括性别、种族、资历——都无法预测论文未来的成功，无论是依据会议现场听众的评分，还是六年后论文最终能否发表以及在何种级别的期刊上发表。研究进一步发现，最初的评审分数对这些代表论文有效性和长期成功的标志，预测力也微乎其微。这表明，当前基于同行评审的筛选机制，在识别真正具有长期影响力和价值的科学工作方面，存在根本性的局限。
创新方案浮现
面对两种评审系统中都存在的、不可避免的问题，研究团队提出了一个相对新颖且颇具启发性的解决方案：知情抽签制（informed lottery）。
“我们的研究结果印证了一个我们都知道的事实：同行评审本质上充满问题，这意味着在某种程度上，它就像一场彩票。” Pleskac教授解释说，“但我们可以看到，评审人通常相当擅长将投稿区分为上半区（较好的一半）和下半区（较差的一半）。
这种“半随机”的遴选机制，其优势在于它既能保证入选工作具备基本质量门槛，又能通过随机性引入那些可能被传统评审模式忽视的新颖想法和多元视角——这些视角可能仅仅因为挑战主流、来自非著名机构或新兴学者而被有意识或无意识地过滤掉。“毕竟，” Pleskac教授强调，“科学的核心精神在于探索未知。”
转载本文请联系原作者获取授权，同时请注明本文来自国际科学编辑科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3387871-1506242.html?mobile=1
收藏
