jiaxf的个人博客分享 http://blog.sciencenet.cn/u/jiaxf

博文

透析综合评价法 Insight into the Comprehensive Evaluation

已有 2991 次阅读 2014-12-31 12:02 |系统分类:科研笔记| 管理学, 综合评价法, 评价活动, 方法选择

    th.jpg笔者按:综合评价法是一个看似简单,实则复杂的科学方法。综合评价是一个看似抢眼,实则需要思考的活动。本文为笔者思考,供各位讨论。

    综合评价法是选用综合的指标(多个x),使用选定的模型,定量(或半定量)的描述评价对象(Y)。当前,综合评价已广泛用于管理学各个领域。

    综合评价法如盲人摸象,过于综合会掩盖差距,过于单一会造成片面的结果。所以综合评价是科学也是艺术。

    陈述综合评价前共同定义几个概念:①评价主体指谁来评价?②评价对象指评价什么?③被评价者指谁被评价主体评价?。

一、综合评价的特点

    评价活动的几个特点:

    ①评价的目的是为了做对比,所以排行(名)榜是综合评价的最终归宿;

    ②综合评价是从多个方面(角度)来判断评价对象的相对优劣,因此评价的对象必然是一个较为复杂事物;

    ③综合评价费人费力费钱,因此评价对象相对于评价主体来讲必然是一个较为重要的事物(或评价可为评价主体带来价值);

    ④如何看待评价结果,评价不管如何科学、如何综合、如何定量,都会有局限性和相对不科学、不被认可的方面。定量的最终都是要回归定性,所以不要纠结排名序列号,可以确定的说排名前25%的都是非常优秀。另外一方面要看多个排行榜(排名榜),在多个排行榜中均名列前茅的那必然是实至名归。

二、评价的方法

    接下来我们谈评价方法。或许有很多人说评价方法和流程都是固定的,很多人都在作评价,貌似很简单。但笔者认为,评价方法和流程貌似很简单,但其实也是很复杂的,稍不注意便会造成错误,但错误不一定影响评价结果,仅从学术上予以判断。下文将从几个要点点评评级方法和流程。

(一)评价的流程

    笔者总结评价的流程包括①评价指标的选择;②评价模型的选择(最常见的是多元一次线性模型,此时便是各指标系数/权重的选择);③评价指标数据的采集和指标间关系分析;④综合指数(Y)的计算。

    实际操作中上述4步中的前3步可有交叉,即评价模型选择中同时也有指标选择环节,评价指标数据采集和指标间关系分析中也有指标选择环节和评价模型选择环节。由于评价的方法非常繁琐,下文将重点阐述部分要点。

(二)评价方法要点

    1. 评价指标选择要点

    评价指标选择的宗旨为分析评价对象的内涵和影响因素,进而依据指标选择的原则,在内涵和影响因素中挑选指标,形成指标集合。具体指标选择前要先选择评价维度(角度),在维度中挑选具体指标。

    常用指标选择原则为:①指标可测量且可量化;②指标数据易获取;③指标简单易懂;④指标在被评价对象中具有较好的离散度(变异系数较大,显著区分度);⑤指标间尽可能独立(自相关/共线性弱,理想状态为相互独立);⑥通识性,指标在被评价对象中均可同等程度被测量,且背景噪音尽量小;⑦指标相对丰富,避免评价偏倚过大,但同时过于丰富会降低评价差异。

    评价指标的选择方法是一个绝大多数定性、零星定量的过程。定性方面可充分采用文献调研、专家咨询(包括Delphi或层次分析法等)。定量方面要待指标数据采集后,测量各指标间相似度、共线性、变异系数等予以后干预。

    2. 评价模型(指标权重)选择要点

    最为常用的评级模式是多元一次模型。各评价指标就是模型中的元(x),评价对象(Y)是确定的,那么模型的选择其实是在找出权重(β)。

    (1)权重选择方法

    在笔者看来,最为合理的权重选择方法是层次分析法或专家咨询法。依据专家的判断对权重进行半定量的研究,从而达到定量的展示。但同时注意在该过程中专家的选择、专家人数的选择、问卷过程的质量和问卷结果的质控都是非常重要的环节,也会较大程度影响权重。

    (2)权重选择方法讨论点

    有研究采用选择指标后直接采集指标数据,进而使用主成分分析、因子分析、结构方程模型等方法计算指标权重,通常此类被认为是定量方法选择权重。笔者对此表示疑惑。

    ①如一个评价比作一个多元一次模型(或多元不定次模型),在没有评价对象(Y)量化的前提下如何做出各指标(X)对Y的权重系数?(注意不是回归系数)

    ②在指标数据库中(各X对多个被评价对象的数据的采集)进行主成分分析、因子分析或者结构方程模型分析(主成分分析+回归分析)所得出的各变量系数统计学角度应该是某变量(指标)对所在主成分或因子的变异度解释的比例。因此这个系数与权重有本质的不同。

    ③由于指标(变量)选择中的不稳定性和各变量数据采集的随机性从而导致基于主成分分析、因子分析和结构方程分析得出的变量系数不稳定。笔者认为尤其是受变量选择的影响。

    ④由于评价是基于指标(变量)集合,必然其中会有若干个主成分(因子),各因子、主成分对于评价对象(Y)的权重(注意不是变异解释度系数)与主成分分析/因子分析过程中得出的系数(变异解释度占比)也有着本质的区别。

    3.综合指数(优势度)测算

    当评价指标、评价模型和数据集均已完成后,接下来要做的就是综合指数(优势)测算,此时已到了定量阶段,该过程可采用指数算法、Topsis优势度法、模糊综合评价法最终得出被评价对象的相对优劣(排行榜)。笔者在此要说的是指数算法。

    所谓指数(Index)是指无量纲的,可用来直接对比的数字。而综合评价众多的指标均有自己的量纲可分布离散度,不具有横向直接对比性。因此在做不同指标加和的时候一定要做标化。

    标化法:标化方法可以有很多,如0,1标化法、Z标化法、秩次标化法、差值标化法等,根据实际情况选择。总体是要体现离散型合理。

    因此综合指数的最终测算方法为各指标标化、标化后各指标加权、加权后合并(加和或相乘)、合并后再标化。(注意合并后再标化过程不可省略,否者会导致最终合并指数分散度不可评估,影响判断)。




https://wap.sciencenet.cn/blog-786113-855274.html

上一篇:医学研究机构科研竞争力评价 未来发展方向分析
下一篇:《中国医学科技发展报告2015》即将发布,敬请关注!
收藏 IP: 168.160.23.*| 热度|

0

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-6-1 11:34

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部