俞立平
真担心采用代表作评价——科技绩效评价问题之二 精选
2018-10-27 11:03
阅读:11001

     代表作评价原来用在职称评审过程中,近年来有愈演愈烈之势,如何客观冷静对待代表作评价,使得其更好地为科技评价服务,推动创新型国家建设,实现中华民族的伟大复兴,是我们必须认真思考的问题。

我担心代表作评价,是因为其并不成熟,主要体现在以下几个方面:

第一,以刊评文。以刊评文虽然不合理,但已经成为一种潜意识。如果作者的论文发表在普通期刊而非权威期刊,究竟如何提交代表作?从创新角度,可能发表在普通期刊论文创新更大,但提交上去评审专家一看期刊名称,后果你懂的……

第二,代表作很难具有时效性。对一位学者而言,在1年小考核,3-4年大考核的背景下,代表作并不具有代表性。比如8年前作者发表的论文具有很大创新,而现在的论文虽然在同一研究领域,但相比而言并没有那么大的贡献,因为他(她)已经开拓了一个小的研究领域,其他学者跟进发表了大量论文,本人论文的贡献现在横向比较就流于一般了。

第三,代表作评价提高管理成本。采用代表作评价的本意,不是让评审专家看论文名称、期刊名称的,而是要看论文内容的。前者会陷入典型的以刊定文,后者会增加无穷无尽的管理成本。

第四,我国同行评议制度并不健全。相比发达国家而言,我国的同行评议制度问题很大,我认为至少比数论文数量的问题还要大。这里并不是说制度本身有问题,而是执行时漏洞更大。

第五,代表作制度难以进行宏观评价。相关文件要求在双一流大学评估、学科评估等宏观评价中也采用代表作,怎么用?以刊定文还可以勉强凑合一下,如果看论文质量,要通读全文,恐怕至少要从全世界找1000000个评审专家。

第六,如果学者在构建一个理论体系,可能需要数十篇甚至几十篇论文才能完成,每篇论文贡献可能都一般,但整体贡献就很大了,此时代表作不能反映水平。

第七,代表作评价异化,催生伪代表作评价。由于以上原因,科技评价变成数代表作的数量,与以前的数论文数量相比,并没有本质区别。真正的代表作评价,是要阅读原文的。

第八,代表作制度降低了违规成本。代表作就几篇论文,掌握资源的人设法发几篇过得去的代表作还不容易?根本不需要写论文了。

…………

所以,及早思考代表作评价可能存在的问题,并找到解决的路径,然后结合科学计量学、文献计量学的相关指标来进行评价,才是有效解决问题的办法。

科技评价必须拥有一定的稳定性,不宜出现较大幅度的评价方法变化。对于每种评价方法和评价指标,都应该弄清楚其存在的优点与不足。

说白了,代表作仅仅是科技评价的一个指标。

采用多属性方法进行科技评价,防止单个指标存在的片面性,另外加强一些防止人为操纵指标的设计,才是解决问题的根本思路。


                                   2018.10.27 俞立平 于杭州

 

 


转载本文请联系原作者获取授权,同时请注明本文来自俞立平科学网博客。

链接地址:https://wap.sciencenet.cn/blog-45134-1143041.html?mobile=1

收藏

分享到:

当前推荐数:25
推荐到博客首页
网友评论25 条评论
确定删除指定的回复吗?
确定删除本博文吗?