XLiblog的个人博客分享 http://blog.sciencenet.cn/u/XLiblog

博文

科研体制的大修2:众人参与的主客观评估

已有 3533 次阅读 2021-4-1 13:53 |系统分类:教学心得

学:学生,教:教师,李:李晓榕

科研评估体系的大修:②众人参与的主客观协调指标

李:国内的评估体系太强调客观化量化的“科学”评估,往往只关注科研到款多少、发表了几篇论文、获得了几个奖等客观量化的指标。领导多半或缺乏担当或能力不够或自私偷懒,只简单地按这些指标来评判优劣。因此,人们不得不想方设法优化这些指标,从而偏离、干扰、阻碍了真正重要的工作——高水平科研。在深具科研传统的西方发达国家,评估并不片面追求科学化、客观化、量化,而主要靠同行评议,兼顾质和量,主观和客观的平衡协调,因而更难被人为优化。这可是西方几百年实践摸索的结晶啊,为什么这么不屑于借鉴呢?我知道,一般都强调国情有别:不客观化量化,领导或评估人员就会被人情和贿赂等手段攻破。对此,我觉得至少有两大对策:一是严惩泄密者和攻关者,这在令人痛心的国内现实下较难有效实施。二是保证评估结果依赖于众人(比如近一百个人)意见的输入,没有任何人能严重影响(遑论左右)评估结果,使得攻关难以奏效。当然,这要求大修评估体系并大量减少评估,后面我会举例。

教:用指标的方式进行管理,是计划经济时期形成的习惯。不独在科教领域,经济、文化等一切领域莫不如此。大跃进最为典型。至今各级领导似乎并没有认为按指标进行管理有什么不好。搞什么都有指标,比如多少人写了学习心得,等等,而不关心真正的效果和代价,浪费了大量人力。我认为,这是总根源:仍旧用计划经济时代的管理习惯和手段,即“指标当道”来指导21世纪的所有工作。

李:是啊,领导大多依靠简单的“抓手”,即只看少数几个指标,把具有诸多方面、需要全身心投入才可能做好的领导工作过度简单化。这样既可避免多事出漏子丢了乌纱帽,又可偷懒不用担当,也源于计划经济的管理“传统”所遗留的思维定势,还可掩饰自己缺乏领导才能。结果是,这些“抓手”在下层或者被使劲优化或者成为流于形式的表面光而已。

科研评估体系的大修:鼓励扬长避短、因地因人制宜的政策

   一项或一套评价指标,即便对于一个大单位(比如一所大学)是合理的,直接用于对其下属单位或个人的评估,大都变得不合理。比如,文章的人均影响因子(即各文章的影响因子的总和除以总人数),在未被人为优化前,对于衡量一所大学的学术贡献,大有价值。但若用于评价小单位甚至个人的学术水平,其价值大打折扣,甚至可能误导,更不用说被人为优化后大有弊端。各级领导应该明白这个道理,不把上级对大单位“合理”的指标盲目移用于下属单位或个人,在尊重科研规律、激发干劲、提高效率的同时,更要在政策上和氛围上积极鼓励下属单位和个人扬长避短、因地制宜。比如,学校对各学院的评价指标不该一刀切或大同小异,而应有针对性,学院对各系所和个人的评估更该因地因人制宜,鼓励扬长避短。能多大程度地激发下属扬长避短,直接体现了领导水平。此外,各层的评估都有“贪大求全”的通病,评估往往是按面面俱到的分数分布打分。结果是,在某个或某些主要方面突出的单位或个人,与面面俱到、没有突出之处的相比,要吃大亏。而且,规模大的单位往往有优势。

教:不搞一刀切,道理完全对。但我们历来强调统一意志、统一思想、统一指挥、统一行动。因此,领导会认为不搞一刀切就是反对统一领导,就是缺乏权威意识。所以在实践中,绝难有因地制宜、因人制宜的做法。各级领导为了保住自己,即使知道因地制宜的措施好,也不敢用。

李:科研评估体系旨在有效地评价科研成绩和水平,这与统一思想没多大关系。只有因地制宜、因人制宜,才能扬长避短,这是十分浅显的道理。恐怕只有懒惰无能、私心太重或另有隐情的领导,才不这么做。我知道,要因地制宜在国内当前的环境下是很难,但一个好领导至少应该往这个方向努力。

教:李老师说得很有道理,但是,各级领导肯定还是会简单地移植上层的评价指标,用来制定评价下层的指标,并要求下属都来优化这些指标,这恐怕很难避免吧?

李:这当然是个严重问题,但要对付,还是有办法的。举例来说,可以在评估一个单位时审查其内部政策,搞清其内部评价指标体系,判断是否有过度优化上层指标的。比如,如果其政策把影响因子与学生的毕业要求、教师升职加薪和业绩的指标相连,或者《自然》、《科学》等刊物的作者会得到出格的大奖励或支持,那么在相关方面的表现,就该打大折扣。因为极其片面的奖惩政策,都有其他方面的大代价,应当受惩。更有甚者,一旦发现它的评价指标在短期内有很大提升,那么恐怕就要考查其有意优化评价指标的政策和行为,过分者应予惩戒。

教:照您这么说,按指标来评估,结果好的单位反而可能受罚?这有可能引起轩然大波,恐怕行不通吧。

李:依我之见,上层应该严惩下层有意优化评价指标的过分行为(比如撤职查办),因为这是各种评价体系在国内造成种种严重弊端的根源1。此风不止,要想靠评价指标来评估2,就得想出不怕被有意优化而又公平合理可靠的指标,可惜不存在这样一套客观量化指标。所以,判断是否(大面积高强度)有意优化,至关重要。其实这并不太难。新一套的指标,下层往往是事后或事到临头才知道,而老一套的指标早就清楚,可以优化。所以,如果按老指标有迅速提升,不妨视为“嫌疑犯”。

教:既然有新指标和老指标,各校的报告就都会尽量优化新指标、劣化老指标,这样才能凸显我校在过去几年里取得了多么大的提升,何况还能避免“有意优化”的嫌疑。只有傻子才会优化老指标,授人以柄。

李:这有办法对付,比如可以只提供新老指标的总合,要求各校的评估报告按此提供材料和数据,评审团自己再根据新旧两套指标来评审。可以提供一些未必会真被用上的“虚假”新指标,以迷惑想要优化者。各校并不知道哪些指标最终会被用上。

教:但是,评审人员会泄密啊,特别是他们也有自己的学校啊。要知道,在国内的高校圈里,没有秘密可以保守。

李:难道中国就没有国家秘密可保?能否保守秘密,关键取决于重视程度和决心。如果国家确实想要保守某个秘密,下了决心,就能保住。而且,不妨先定下一个评价指标相对较大的集合(包括上次评估所用的全部指标),在各校都按此上报了评估报告之后,才确定或者才让评审团知道真正的指标。这些操作层面上的具体措施都是我临时想到的,如果群策群力,认真思考,肯定能想出更好得多的办法。

  “天平”式评估还有助于遏制如下不正之风:很多科研人员想当官,因为这种行政科研“双肩挑”的要人掌握着大量资源,职位越高,资源越多,越能在当前的评估体系中胜出。这种所谓“业绩”不仅不反映真实情况、无助于科研,反而大有恶劣影响,助长“官迷”意识,误导腐蚀科研队伍。采用“天平”式评估,一心科研之人与“双肩挑”之人至少可有一拼:后者未必有优势,说不定还有劣势,因为他们长于搞资源和关系,而非出成果。而按现行评估体系,高下立判,难以一拼。


______________________________

1.在美国,虽然也有领导想优化评价指标,但这往往为教授所不齿,因而难以形成风气。

2. 不过,我认为真正好的评估不能只靠科学化、客观化、量化的评价指标。


正在出的博文系列:

与师生谈人工智能:

1.智乎哉?    2. 奢求精确之误    3.精确定义之病

 

与师生谈现代化之弊

1:崛起的代价     2:发展必好无疑?    3:发展的恶果     4:科技进步果真进步?         5:科技的罪责 

6:开发进步善哉恶哉?7:现代化恶果之因    8:现代化恶果之因2  9:资本主义与个人主义   10:资本主义的修正与回潮

11:全球化的好歹   12:全球化的好歹     13:西化、现代化、全球化 14:现代化的本质      15:文化全球化?

16:妈的奶贼腥        17:多元优越             18:四大主义      19:“化私为公”的隐形手   20: 进步的魔咒

21:进步的陷阱    22:进步的后果       23.成功的反噬     24:进步的残酷                  25: 进步到恶神末日

26:自造成恶神

 

与师生漫谈科研文化

1:我有科研之才吗?  2:我该做科研吗? 3:逻辑推理的作用 4:人生价值     5:生命的延续           

 

已出博文系列:

与师生谈科学之弊

1:线式因果思维1      2:线式因果思维2     3:线式因果思维3         4:螺环之奇妙                 5:幻化的因果 

6:不牢靠的因果推理        7:分析还原病       8:还原论教条                    9:基因未必基因      10:割根裂本

11:强拆硬分        12:科学的领地       13:科学的致命伤         14:科学的致命伤2           15:逻辑之可错

16:逻辑可错之源       17:“脚踏实地”的逻辑?18:逻辑:真理焉?宗教焉?       19:想不清原理       20:想不清原理2

21:逻辑教的改革    22:逻辑教的改革2     23:精确性的终结         24:科学哲学                  25:务外逐物 

26:科学六弊                 27:科学之弊总结

 

与师生谈科研选题:
1:科研的战略、战术和战斗力 2:选题三准则:趋喜避厌 3:选题三准则:如何培养兴趣 4:选题三准则:择重舍轻,扬长避短

5:得题之关键           6:如何应对新潮      7:选题四建议          8:总结:选题好比找对象

 

与师生谈研究策略:

1:科研四要素    2:突出重围的法   3:人人信之而善忘的黄金法则  4:孤胆方是英雄,独创才有真才  5:大道至简,科学之魄

6:弃繁就简     7:以特制胜      8:综括               9:反行众道,改形换状       10:迷雾中的灯

11:技穷时的上策 12:驾驭时间之术1  13:驾驭时间之术2     14:保质增产之法          15:类比、联想、猜测、推证 

16:评估       17:总结与回顾

 

与师生谈学习门径:

1:广度与深度      2:增加深度的窍门1    3:增加深度的窍门2      4:增加深度的窍门3  5:增加深度的窍门4

6:增加深度的窍门5  7:增加深度的窍门6        8:如何培养直觉和想象力? 9:基础不好,死路一条?10:阅读策略1

11:阅读策略2      12:博览之术           13:增强记忆1          14:增强记忆2      15:如何听讲 

16:最佳捷径

 

与师生谈科研输出:

1:论文写作五要点 2:论文的结构、条理和语言 3:标题、摘要、引言、结论  4:作学术报告四建议  5:与编审人员打交道

 

与师生谈科研道德:

1:何谓弄虚作假              2:何谓剽窃?             3:何谓自我剽窃?               4:版权

5:谁该当作者?              6:署名顺序怎么定?        7:其他学术不当行为              8:总结





https://wap.sciencenet.cn/blog-687793-1279717.html

上一篇:与师生谈人工智能3:精确定义之病
下一篇:与师生谈人工智能4:图灵测试
收藏 IP: 174.67.139.*| 热度|

3 杨正瓴 李承哲 徐明昆

该博文允许注册用户评论 请点击登录 评论 (1 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-3-28 18:10

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部