求真分享 http://blog.sciencenet.cn/u/zlyang 求真务实

博文

评价与排名:先定性后定量(先录入部分,一会在修改)

已有 4245 次阅读 2016-5-10 18:29 |系统分类:科研笔记| 评价, 排名, 量变, 质变, 互变

评价与排名:先定性后定量(先录入部分,一会在修改)


    由于“量变质变规律”等的作用,科技评价的定量指标使用,要有一定的限度。

    似乎先由专家主观评价定性,后由科技计量定量更合适。但由于“量、质互变”,具体操作仍然很困难,即较大的不确定性。

    英国经济学家Charles Goodhart在1975年发明了一个以他名字命名的Goodhart定律:某种评价一旦被选择用来作决策时,这种评价就开始失去其价值了。(Once a measure is chosen for making policy decisions, it begins to lose value as a measure)。

    一种“定量指标”的筛选和使用不断演化的评价,可能更合适。类似循证医学(英语:Evidence-based medicine,缩写为EBM“遵循证据的医学”,又称实证医学)。先用定量指标计算典型例子,【由专家进行“主观评价”的结果】再调整指标的项目和权重,之后在实际中进行使用。



不过,排名是个千年难题:

           

在百晓生所著《兵器谱》里:

1名孙天机死于第2名上官金虹之手,

2名上官金虹死于第3名李寻欢之手。

         

在《隋唐十八好汉》里:

三杰反打二杰:裴元庆几次打败宇文成都。





   一次不公的司法判决比多次不法的行为为祸尤烈。不法行为弄脏的不过是水流,而不公的判决则将水源污染了。——《论司法》(9月8日名言)

   另一版本:一次不公正的审判,比十次犯罪所造成的危害还要尤烈,因为犯罪不过弄脏了水流,而不公正的审判则败坏了水的源头。

         One foul sentence does more hurt than many foul examples. For these do but corrupt the stream; the other corrupt the fountain.



相关链接:

[1] 史晓雷,2016-05-10,科学家排行榜——Who's bigger 精选

http://blog.sciencenet.cn/blog-451927-976258.html

[2] 2015-07-12,关于评价与指标

http://blog.sciencenet.cn/blog-107667-904811.html

[3] 2015-01-05,排名:热闹非凡!

http://blog.sciencenet.cn/blog-107667-856777.html

[4] 2013-05-17,“停止使用影响因子评价科学家”总体正确

http://blog.sciencenet.cn/blog-107667-690855.html

[5] 文双春,2013-05-02,能出院士不一定能出大师——学术越评越掉价 精选

http://blog.sciencenet.cn/blog-412323-685914.html

    学术乃至所有智力贡献的准确评价相当于物理学中的精确测量,是个高技术活,多数情况下即使技术再高明也无法对某个物理量精确测量。关于这一点,英国经济学家Charles Goodhart在1975年发明了一个以他名字命名的Goodhart定律:某种评价一旦被选择用来作决策时,这种评价就开始失去其价值了。(Once a measure is chosen for making policy decisions, it begins to lose value as a measure)。Goodhart定律曾被应用于银行和其他领域的政策制定,实践表明,评价不仅破坏评价过程,也扭曲对评价目标的认识。从这一点来看,Goodhart定类似于量子力学中的测不准原理。学术就像量子,所以也“测不准”;学术评价就像量子测量,任何测试量子的操作,都会改变量子状态,同样,任何学术评价都会使学术和学术评价本身变味,而且不是变好,而是越评越掉价。

[6] 武夷山,2016-04-07,短期引用与长期引用 精选

http://blog.sciencenet.cn/blog-1557-968350.html

    短期引用说明了被引论文作者处于研究前沿,反映的是选题的时尚性;长期引用则能够说明,被引文献对于将知识主张转化为概念符号的编码化过程作出了贡献。研究前沿的知识主张很可能只是风光一时,因此将短期引用作为质量指标是不合适的。

[7] 赵美娣,2016-05-10,短命的A类期刊目录 精选

http://blog.sciencenet.cn/blog-69474-976293.html

    据介绍,学位中心2013年资助“中国学位与研究生教育学会”设立了“学科评估指标体系研究”重点课题,开展专项研究,又先后在16个省市地区召开了18场学科评估指标体系调研会,还集中开展专项调研。可叹的是,如此严密慎重出台的评估指标体系,折腾出来的A刊目录却是如此不堪一击,才刚出台便告夭折,实在是短命。



         

感谢您的指教!

感谢您指正以上任何错误!



https://wap.sciencenet.cn/blog-107667-976320.html

上一篇:灿烂的北洋园新校区东北门(与克拉):卡片机傻拍2016(43)
下一篇:感谢615快线黄连青司机师傅和有关老师!
收藏 IP: 202.113.11.*| 热度|

7 许培扬 王小平 张忆文 李庆祥 dulizhi95 yunmu grdegr

该博文允许注册用户评论 请点击登录 评论 (6 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-24 14:46

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部