精选
说明：本博客与微信公众号“林墨”同步更新，所有内容均为原创，可授权转载请扫码关注“林墨”公众号。
I3指标是2011年出现的一种新型的评价算法，旨在用百分位数取代平均值（例如期刊影响因子）。在I3指标的推广和应用过程中，多指标测度的学科评价思想逐渐显现，这一思想可以为我国双一流测评指标提供有益的参考。
步一 / Indiana University
注：图片来源于参考文献中的论文
影响因子（均值型算法）的缺陷：以MIS Q和JASIST为例
MIS Quarterly是管理信息系统（MIS）领域的顶级期刊，而Journal of the Association for Information Science and Technology（JASIST，原名Journal ofthe American Society for Information Science and Technology）则是图书情报学领域的顶级期刊。尽管它们的关注点有很大的区别，但是在ISI的分类系统中，这两本期刊都被分在了Library and Information Science类别下。今年Clarivate Analytics发布的《期刊证报告》显示，MIS Quarterly的影响因子高达7.268，而JASIST则只有2.322。JASIST的影响因子低于MIS Quarterly这一现象早在多年前就已经出现，并一直保持至今。
2011年，Loet Leydesdorff和Lutz Bornmann研究发现，以2007-2008年为例，JASIST上刊载的文章中有375篇得到过至少一次引用，而MIS Quarterly刊载的文章中有66篇得到过至少一次引用（均为2011年2月统计结果）。但是，JASIST上前66篇获得被引的文章比MIS Quarterly上的66篇被引文章多获得了380次引用。可以想见，JASIST较低的影响因子在很大程度上源于其上刊载了大量零被引或低被引论文。Loet Leydesdorff等人指出，这进一步说明评价学术影响力不应当以均值或中位数等有向中间靠拢趋势的统计量（central-tendency statistics）为唯一标准；不过可惜的是，以影响因子为代表的一系列目前较常使用的评价指标都是使用均值作为标准化依据的。
百分位数计量指标『I3』
Loet Leydesdorff和Lutz Bornmann随即提出了“整合影响指标”（integrated impact indicator，简写为I3指标），用来度量文献计量实体（如出版物、期刊、会议论文集、作者等）的影响力。，其中代表百分比排名，代表该排名出现的频次。I3指数摒弃了以均值或中位数为标准化标准的措施，采用百分位数为标准化措施的依据，进而对影响因子等传统评价方式进行补充和改进。在期刊层面进行实证研究发现，期刊的I3指标和该期刊内刊载的有被引记录的文章数量呈现一定的正相关关系（如上图所示）。
Loet Leydesdorff和Lutz Bornmann还给出了科学评价时进行分组和决策的具体策略。他们建议使用99-100%（即排名最靠前的1%）、95-99%、90-95%、75-90%、50-75%和0-50%这六组作为基本评价时的分组方式。
I3的核心思想：多维度评价优于单维度评价
基于I3指标，南京大学叶鹰教授（欧洲文理科学院院士）和Loet Leydesdorff在2014年建立了一项科学评价的框架，指出以多指标测度评价学术个体和学术群体。他们将发文分值、引文分值和两者的差分别以三个向量的形式存储在对称矩阵V中，每个向量均由三个元素组成，分别代表该项指标的核心区域值、长尾区域值和零值。这里，矩阵V的迹（即对角线元素的和）可以在很大程度上有效地进行科学评价。这项研究不仅挖掘出多指标混合矩阵中“迹”的文献计量含义，而且还强调了多指标测度对于学术评价的重要作用。2015年，台湾大学黄慕萱教授等人还将这一方法应用于专利评价方面，该方法也显示出良好的效果。
今年，叶鹰教授、Lutz Bornmann和Loet Leydesdorff发表了一篇文章，使得I3指数得到了进一步的推广。在该文章中，I3指标开始与h指数（如果一位科学家一共出版了n篇著作，假如他（她）有h篇论文每篇被引了至少h次，而其他(n-h)篇论文每篇被引了至多h次，那么他（她）的h指数就等于h。）结合起来，并且该文进一步强调多指标测度评价的必要性。从评价效果上看，多指标测度评价优于单一指标，多指标测度的考虑范围更广更全面。另一方面，多指标测度评价在实施过程中是多个简单指标的综合，因而便于评价者收集数据，尽管其运算过程较为复杂，但在现今的技术条件下亦不是问题。值得注意的是，多指标测度并非多个简单指标的综合，而是分布于不同测度区位的各个指标的协同。这种多维度测度的评价思想和方式或许可以为我国双一流测评指标提供有益的参考。
参考文献
[1] Leydesdorff, L., & Bornmann, L.(2011). Integrated impact indicators compared with impact factors: Analternative research design with policy implications. Journal of theAssociation for Information Science and Technology, 62(11), 2133-2146.
[2] Ye, F. Y., & Leydesdorff, L.(2014). The ‘‘Academic Trace’’ of the performance matrix: A mathematicalsynthesis of the h-index and the integrated impact indicator (I3). Journal ofthe Association for Information Science and Technology, 65(4), 742–750.
[3] Huang, M.-H., Chen, D.-Z., Shen, D.,Wang, M.S. & Ye, F.Y. (2015). Measuring technological performance ofassignees using trace metrics in three fields. Scientometrics, 104(1), 61–86.
[4] Ye, F. Y., Bornmann, L., &Leydesdorff, L. (2017). H-based I3-type multivariate vectors: Multidimensiona lindicators of publication and citation scores. COLLNET Journal ofScientometrics and Information Management, 11(1), 153-171.
[5] Hirsch, J. E. (2005). An index toquantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16569.
转载本文请联系原作者获取授权，同时请注明本文来自李江科学网博客。
链接地址：https://wap.sciencenet.cn/blog-1792012-1085655.html?mobile=1
收藏
