俞立平博客——邗上居分享 http://blog.sciencenet.cn/u/yuliping 科技评价、技术创新、信息经济 镜像博客:http://www.yuliping.com

博文

真担心采用代表作评价——科技绩效评价问题之二 精选

已有 11022 次阅读 2018-10-27 11:03 |个人分类:科学计量|系统分类:观点评述

     代表作评价原来用在职称评审过程中,近年来有愈演愈烈之势,如何客观冷静对待代表作评价,使得其更好地为科技评价服务,推动创新型国家建设,实现中华民族的伟大复兴,是我们必须认真思考的问题。

我担心代表作评价,是因为其并不成熟,主要体现在以下几个方面:

第一,以刊评文。以刊评文虽然不合理,但已经成为一种潜意识。如果作者的论文发表在普通期刊而非权威期刊,究竟如何提交代表作?从创新角度,可能发表在普通期刊论文创新更大,但提交上去评审专家一看期刊名称,后果你懂的……

第二,代表作很难具有时效性。对一位学者而言,在1年小考核,3-4年大考核的背景下,代表作并不具有代表性。比如8年前作者发表的论文具有很大创新,而现在的论文虽然在同一研究领域,但相比而言并没有那么大的贡献,因为他(她)已经开拓了一个小的研究领域,其他学者跟进发表了大量论文,本人论文的贡献现在横向比较就流于一般了。

第三,代表作评价提高管理成本。采用代表作评价的本意,不是让评审专家看论文名称、期刊名称的,而是要看论文内容的。前者会陷入典型的以刊定文,后者会增加无穷无尽的管理成本。

第四,我国同行评议制度并不健全。相比发达国家而言,我国的同行评议制度问题很大,我认为至少比数论文数量的问题还要大。这里并不是说制度本身有问题,而是执行时漏洞更大。

第五,代表作制度难以进行宏观评价。相关文件要求在双一流大学评估、学科评估等宏观评价中也采用代表作,怎么用?以刊定文还可以勉强凑合一下,如果看论文质量,要通读全文,恐怕至少要从全世界找1000000个评审专家。

第六,如果学者在构建一个理论体系,可能需要数十篇甚至几十篇论文才能完成,每篇论文贡献可能都一般,但整体贡献就很大了,此时代表作不能反映水平。

第七,代表作评价异化,催生伪代表作评价。由于以上原因,科技评价变成数代表作的数量,与以前的数论文数量相比,并没有本质区别。真正的代表作评价,是要阅读原文的。

第八,代表作制度降低了违规成本。代表作就几篇论文,掌握资源的人设法发几篇过得去的代表作还不容易?根本不需要写论文了。

…………

所以,及早思考代表作评价可能存在的问题,并找到解决的路径,然后结合科学计量学、文献计量学的相关指标来进行评价,才是有效解决问题的办法。

科技评价必须拥有一定的稳定性,不宜出现较大幅度的评价方法变化。对于每种评价方法和评价指标,都应该弄清楚其存在的优点与不足。

说白了,代表作仅仅是科技评价的一个指标。

采用多属性方法进行科技评价,防止单个指标存在的片面性,另外加强一些防止人为操纵指标的设计,才是解决问题的根本思路。


                                   2018.10.27 俞立平 于杭州

 

 




https://wap.sciencenet.cn/blog-45134-1143041.html

上一篇:基于时间序列的影响因子与载文量关系研究
下一篇:“四唯”的逻辑反思——科技绩效评价问题之三
收藏 IP: 112.10.253.*| 热度|

25 杨正瓴 张成岗 黄永义 武夷山 徐耀 徐义贤 李斐 蔡宁 王从彦 王秉 汪晓军 黄仁勇 刘山亮 任国玉 黄洪林 孙学军 曹俊兴 刘立 胡大伟 王福涛 李万峰 蔡小宁 王启云 liyou1983 zjzhaokeqin

该博文允许注册用户评论 请点击登录 评论 (25 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-24 05:08

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部