精选
科学计量学专家探讨学术评价新指标
武夷山 编译
2009年12月，约50名科学计量学专家聚在一起，讨论了学术评价的新指标。与会专家包括印第安纳大学的 George Hirsch和汤森路透科技集团的首席科学家、著名科学计量学家Henry Small。
大家都意识到评价指标与评价对象之间存在着复杂关系。没有刺激手段，人们就懒得采用新指标；而指标的采用既可能带来良性效果，也可能带来负面效果。
研讨会最关注两类问题。第一类问题是美国洛斯阿拉莫斯国立实验室的Herbert van de Sompel （他也是这次研讨会的组织者之一）提出的：指标具有什么样的性质，能使指标被所有利益相关者所接受？ 如何才能使指标从概念探讨向广为接受迈进？
这次讨论的新指标包括：MESUR 项目、特征因子（Eigenfactor）、h-bar指数、开放获取期刊PLoS ONE提出的文章层次的评价指标，等等。
MESUR项目（我曾在以下链接的文章中简要介绍了MESUR项目，http://www.edu.cn/zhuan_jia_ping_shu_1113/20100528/t20100528_479631.shtml）负责人、印第安纳大学的George Hirsch指出，比较一下传统的基于引文的评价指标和基于论文使用量的新评价指标可以看出，新指标能较好地反映被评价者的学术威望。若单单根据被引用次数来评价人，就好比将布兰妮（Britney Spears） 视作有史以来最棒的音乐人，理由是她的唱片卖掉了5000万张。
PLoS ONE 的Peter Binfield 介绍了他们对论文质量的评价。除了被引次数外，他们还考虑了好几个指标：文章被阅读次数、被下载次数、被读者评价的星级、被收入书签的次数、获得的评论数，等等。Peter说，目前没有采用、但可以考虑的指标还有：从文章上线第一天起就对其未来影响力进行预测的指标；文章所在专业领域的评审者、编辑和其他专家对文章的评价；主流媒体对文章的报道情况；反映文章用途的其他指标，如被下载次数、文章摘要的被阅览次数、文章被转贴的次数，等等；文章在其他地方被评论或成为论坛讨论的话题的情况；评论员们对不同指标的权威性的看法。
与会者承认，引文分析已有上百年历史，而基于文章使用量的新指标才刚刚问世，其成熟肯定需要一段时间。
研讨会上，大家还关心这样的问题：Jorge Hirsch 提出的h-bar 指数会像他提出的H指数那样迅速风行吗？MESUR项目和特征指数项目的合作能结出硕果吗？哪些网络分析手段能够成为识别学术影响力、学术威望和学术信任的主流手段？对数据再利用的测度何时能成为常态？评价指标最终能代替同行评议吗？大家希望在今后的研讨会上继续讨论这些重要问题。
新指标的计算，需要利用很多数据。可是，到底需要哪些数据？采用什么样的数据标准？它们为什么样的评价指标服务？到现在为止，对这些问题还没有答案。另外，还有很多问题值得探讨：
如果没有一个集中型的知识库，同一文章在不同数据库的利用量怎么汇总呢？
人们总喜欢用简单的指标，如影响因子和H指数，今后若采用离开计算机就寸步难行的网络分析类指标，人们愿意接受吗？
如果一篇文章在公共平台上就能查得到，那我们能否区分：该文之利用量，哪些是来自学者同行的关注，哪些是来自普通公众的兴趣？需要做这样的区分吗？
目前的评价方式和资助决策方式是否会驱使科研人员循规蹈矩，从而不利于突破性研究成果的出现？
没有一个评价指标能包打天下，但是能否有一组指标可以作为相对的标准？
非论文类的科研产出该怎么评估？
转载本文请联系原作者获取授权，同时请注明本文来自武夷山科学网博客。
链接地址：https://wap.sciencenet.cn/blog-1557-348118.html?mobile=1
收藏
