“计量智慧”(Metric-wiseness)是指科研人员对应用于自身评估的计量指标有足够的了解，如文献的引用背景、评估委员会采用的评估指标的正确数学公式、指标结果，以及这些指标潜在的误用情况。科研人员拥有“计量智慧”，了解自己的科研产出会被怎样评估，从而使得自己在申请资助、应聘或者职称评定中更具优势。（更多介绍：指标熟稔，做计量的智者）
JDIS最新文章报告了一项对意大利科研人员“计量智慧”的探索性调查。该研究通过李克特5点量表对罗马大学（Sapienza University of Rome）3300多名教职人员进行了问卷调查，评估他们对文献计量指标的认知和态度。数据收集于2018年11月22日至2019年1月31日，最终收回263份完整有效答卷（有效回收率8.0%），虽然回收率较低但符合在线调查常态。调查参与者中，男性占64%，女性占36%，平均年龄为52.7岁，主要来自11个学院，其中数学、物理和自然科学学院占比最高（19%）。职位上，副教授占39%，助理教授占35%。研究发现
异质性普遍存在。在不同学科之间以及同一学科内部，参与调查的科研人员对计量指标的认知和态度均存在显著差异。
在计量指标的认知上，即使是经验丰富的科研人员，对部分文献计量指标（尤其是较新的指标）仍存在较高程度的不了解。图 1. 对计量指标的认知情况 (N=263)
图 2. 对计量指标的认知情况(根据正确答案的数量进行排序）
在计量指标的使用态度上，不同学科领域存在差异。自然科学和生命科学等领域的科研人员通常更倾向于认同计量指标，而人文科学和社会科学领域的科研人员则更多持批判态度或保持中立。
表 A.C2.S1 不同学科领域对文献计量指标态度差异影响“计量智慧”的决定因素
学科背景与领域差异。不同学科的规范和出版实践对计量指标的接受度有很大影响，在生命科学、工程学和物理学等学科，计量指标（如H指数和期刊影响因子）被广泛接受，认为它们能够有效衡量研究的可见性和影响力；而在人文科学和社会科学等领域，评估主要依靠同行评审或更广泛的社会影响，科研人员认为计量指标过于简化，无法全面反映学术贡献。
职业阶段和机构影响。处于职业初期的科研人员可能更倾向于支持计量指标，因为这些指标与职业晋升的路径直接相关（如发表数量和引用次数）。而资深的科研人员则可能对这些指标持批判态度，尤其是如果他们见证了过度依赖计量指标的负面后果。科研人员所在机构对计量指标的使用情况和态度，也会影响科研人员对计量指标的认知和态度。此外，“计量智慧”还会受到文化认知、兴趣驱动等因素影响。此外，为了探索最近科研评价改革举措如何处理计量指标使用的多样性和异质性问题，研究还分析了4份科研评价改革倡议的文件（the DORA declaration，the Leiden Manifesto，the Hong Kong Declaration , the European Commission）。文中探讨了这些文件是否以及如何考量科研人员在计量指标认知和态度上的差异。研究结果表明，现有的科研评估改革倡议没有充分考虑到科研人员对计量指标认知和态度的异质性。
这篇文章为科研评价改革提供了一个新的视角——科研人员对计量指标的认知和态度。文章所揭示的科研人员对计量指标的复杂态度和认知水平，对于设计更公平、更有效的科研评价系统具有重要意义。Research evaluation reform and the heterogeneity of researchers’ metric-wiseness
科研人员“计量智慧”的异质性与科研评价改革研究
Sandra Rousseau1†, Cinzia Daraio2
1CEDON, KU Leuven, Brussel B-1000, Belgium
2DIAG, Sapienza University of Rome, Rome 00185, Italy
CSTR: 32295.14.jdis-2025-0012
识别阅读全文
转载本文请联系原作者获取授权，同时请注明本文来自孟平科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3422014-1471654.html?mobile=1
收藏
