lxj6309的个人博客分享 http://blog.sciencenet.cn/u/lxj6309

博文

十三要素评价方法论

已有 4007 次阅读 2020-6-12 21:34 |个人分类:评价|系统分类:论文交流| 系统评价, 评价理论, 评价方法, 职业经济学

齐经民,刘新建,等. 职业经济分析——国计民生基本问题研究. 经济科学出版社,2018:155-185

        

这一节内容是我在评价理论与方法方面的新认识和扩展认识。任何一个正式的、完整的评价实践方案,都应当在这十三个方面做出清晰的描述。若不能描述清楚,则很难保证评价结果的科学性和有效性。我创建评价学基础理论体系的一个本意就是为科学的评价实践立一个规则或判则。

十三要素理论观点在作者的《系统评价学》著作和《评价理论与方法》课程教学中都初步论述过,但全面系统阐述在这里是第一次。

二、职业效益评价方法论

作为一种管理或评价专业活动,职业效益评价就是对职业效益进行测度和评定,具体说,职业效益评价是根据一定的价值主体的价值标准,对职业人的活动效果作出优劣判断的过程和结论。在文献叙述中,评价有多重含义,如评价结论、评价活动、评价行为等,可根据上下文判断。下面根据评价理论关于评价方案的十三要素理论,分十二小节简要阐述职业效益评价方法论(价值主体与价值客体同置于价值关系小节中)。

(一) 评价项目

评价有正式评价和非正式评价,正式评价又分规范评价和非规范评价。非正式评价是以人们的日常语言表达的评价观点。正式评价是由特定人或组织根据岗位职责或委托关系对评价对象做出评价结论。非规范正式评价是由一定组织对评价对象做出正式的评价结论,但一般不需要专业评价专家或专门评价机构参与,评价结论通常采用自然书面语言表达,如行政管理机构对员工给出的评语、学生毕业评语、干部任免时对任免对象的评论,等等。规范的正式评价是由专业评价人员开展的评价专业活动,其根据设计好的专门评价方案,将通过分析和计算获得的事实数据代入评价模型或程序,计算或推断出评价结果,再根据结果做出评价结论。评价结果有时和评价结论是同构的,有时是在评价结果基础上进行的再评价(如根据考试分数划出五级分)。非正式评价和非规范评价的活动形式和程序比较简单,但内涵会很丰富。非正式评价可以作为正式评价的参考依据,一般需要经过规范化步骤;规范评价结论经常是非规范评价如领导或组织决策的依据。 

对职业效益的评价也有非正式评价和正式评价、规范评价和非规范评价等多种形式。正式规范评价一般需要立为专门项目,耗费相当的资源。干部绩效评价是一种形式的职业效益评价,上级部门一般会制定专门的评价方案,委派专业的人员进行。正式规范评价在立项时要注意名称规范准确,体现明确的评价内容和评价对象,具体评价还要明确考察的时期。

评价项目的立名要十分讲究,名正才能言顺。在职业效益评价问题中,不存在适合所有职业的一般评价方案,在评价项目名称中应明确职业的范围,如“×××工人职业效益评价“×××经理岗位职业效益评价“×××村长职业效益评价“×××驾驶员职业效益评价,等等。

如前指出,职业效益分私人效益社会效益,在一项评价中,可以只涉及二者之一。再者,面对一种职业活动涉及的多元利益相关者,可以有各自立场的评价项目。在评价名称中,不一定直接用职业效益,可以用绩效业绩效果等类词语,可以只包括职业效益的一个方面,具体视各自的评价目的或习惯用语而定。

   (二)评价目的

评价目的是评价活动的发起原因,通常表现为组织管理者的管理愿景和决策信息需求,所以也可称为管理目的。这时,评价是实现管理目的的一种手段,如企业岗位绩效评价、产品质量评价、大学招生入学考试与考查。当评价对象是纯粹的客观存在、非组织构成要素时,评价目的表现为评价者的意志,实现评价者的一种专业研究目的,如生态评价、地质评价。当评价者是社会专业组织、评价项目没有特定的委托者时,评价目的表现为公共利益的需求,如幸福指数评价、人类发展指数评价;通用商业评价的评价目的是满足大众或特殊群体的信息需求,如500强企业评价、大学排名评价、国家主权信用评级。

无论何种评价目的,评价总是以一定的价值观为基础,其中体现或隐含着管理者、利益相关者以及评价主持者的价值需求。

职业效益评价的评价目的不是固定的,不是唯一的,与每一次评价的具体评价者和特定评价背景相关。如一个具体职业人要评估正在谋求的某一个职位时,其评价目的是确定该职位是否值得追求,是否是最适合自己的;如果是评估一个正在服务的职位,其评价目的可能是确定自己对该职位的满意度、分析自己的付出是否获得了充分的价值回报、为决定是否换工作提供具体详细的职业效益信息。如果是上级对下级的职业效益评价,则评价目的可能是为了确定一个具体职业人是否确实胜任该岗位、是否真正尽职,干部年度考核和离任审计可以算这类评价。

(三)总指标

总指标是对评价内容的最高概括,是正式规范评价的必备要素。总指标的名称不能直接以“×××评价代替。在评价方案中应对总指标的内涵予以恰当表述或定义。比如,大学校长绩效评价的总指标不能以大学校长评价指标体系作为总指标,比较恰当的总指标是:“×××高校校长年度绩效“×××高校校长任期绩效,可以简称年度绩效任期绩效。在这个总指标名称中,“×××”可以是地域范围或领域范围,是外延限制,年度任期是时间限制,绩效是评价内容规定,高校校长是评价对象规定。至于用大学还是高校则是一种习惯。总指标经常与评价项目名称重合。大学校长评价作为评价项目名称也是不确切的,称为“×××高校校长年度绩效评价“×××高校校长任期绩效评价更恰当。大学校长评价可以作为一个研究领域,包括绩效评价在内的多种评价,如大学校长领导水平评价”“大学校长素质评价等。

(四)评价目标

评价目标与评价目的不是同一个概念。评价目标规定具体一项评价工作结束时对评价对象做出的评价结果的表现形式,如评价分数、排名、分级、分类等。评价目标的实现一般依据评价总指标进行,有时也依据一级评价指标集实现。

目的是比目标是更抽象的概念。一个具体评价项目的评价目的体现了评价者的价值观。但是在实际工作中,人们经常混淆工作目的与工作目标,有时忘记了工作目的,或者说忘记了初心。比如,执法工作的目的是为了实现社会公平和维护社会秩序,而具体一项刑事审判工作的工作目标是对嫌疑人做出刑罚判决。只要刑罚判决做出就是完成了审判工作,实现了法庭目标,但是,审判是否实现了执法工作目的则是需要进一步做出评价的;即使量刑准确,由于审判方式和舆论掌握不当,也会出现背离执法目的的情况。所以,可以说,评价目标是用来判断评价工作是否完成的,但是完成后是否达到了评价目的则需要对评价工作本身进行评价。评价目标不是自动实现评价目的的。在整个评价工作中,要时时处处用评价目的衡量指导每一项评价环节和活动项目,最后还要对照评价目的,对整个评价项目进行验收。

一项正式的职业效益评价活动的评价目标可以是用总指标的连续数值标定评价结果(如连续的分值),以便比较排序,但是,真正有意义的职业效益评价一般还是给出定性结果,如满意或不满意、合格或不合格,或者是高、中、低等类的分级标定的结果。

(五)价值关系——价值主体与价值客体

评价作为一种人类活动,是对事物相对于人或人的集合体的价值进行判定的过程。这里的人或人的集合体指单个的人、人群、机构单位或区域社会。区域社会小到家庭、社区、村庄,大到国家、全人类。一种事物对人或人的集合体有价值就说在该事物与人或人的集合体之间存在价值关系。所谓有价值就是事物能够以其某种或某些属性满足人或人的集合体的一种或多种需要。评价就是对这种价值大小的确定。

在价值关系中,价值的需要者称为价值主体,价值的提供者称为价值客体。价值主体是人或人的集合体,价值客体则既可以是人或人的集合体,也可以是其他任何客观存在,包括知识和精神以及情感存在。

从语言意义的严谨性考虑,一项评价的评价对象应该是一个完整的价值关系,但是,在语言的习惯使用语境中,评价对象以价值客体来代表,变成评价客体。但是,对特定具体评价问题的研究和评价实践,都必须以全面分析价值关系为前提。完整的价值关系搞不清楚,不可能提出科学的评价方案,也不能有完备的评价实践。

价值关系背后反映的是价值主体的价值观。严格来说,评价方案的设计和评价活动中的价值测度都只应反映价值主体的价值观,但是,由于评价活动固有的主观性特征,方案设计者和实施者经常在其中掺入自己的价值立场,使得评价结果的准确性受到影响,形成了评价中的不确定性来源之一。

在职业效益评价中,评价中的价值客体包括五类,具体见下面关于评价对象的论述;价值主体有职业人自己、职业人所在机构和机构的管理者及其他利益相关者四类。在一次职业效益评价活动中,具体的价值主体通常是多元的,比如:由教育行政机构对小学校长的职责绩效进行评价,价值主体首先是政府(政府应代表和反映当地人民和国家的利益需求),其次是行政机构的领导,再次是小学所在社区构成的社会和学生家庭,而校长本人的个人效益退居次要位置,不一定在考虑之列。不同的价值主体的需求不同,从而对职业人的工作会给予不同的价值评价。

(六)评价对象

评价对象也称为评价客体,与评价主体相对,是被评价者,一般仅指价值客体。在职业效益评价中,评价对象有五类:职业人个体、职业人集体、职业人群体、职业和岗位。

职业人个体是一个具体从业者,其职业效益评价可以是对其在一个具体岗位上的效益评价,也可以是其在一段或一生职业生涯中的效益评价。

职业人集体是在一个组织中工作的一个团队,对其进行职业效益评价一般是上级管理者或其他社会机构提出,也可以是集团中的某个人或集体提出。

职业人群体是在某一时空范围内从事某一种职业的从业者的集合。对其进行职业效益评价可以是一级政府或其职能部门提出,也可能是专业研究者的研究工作需要,评价目的可能是了解该类职业人的社会生存状况,为解决一些社会问题服务,如农民工、金融业职员和经理、垄断行业从业者。

对一种职业的职业效益进行评价,与对职业人群体的职业效益评价有接近之处,通常都要对一个较大的同类从业者群体样本进行调查取证。二者的不同之处是:对职业的职业效益进行评价,职业的外延范围相对更窄,职业的内涵相对更单一,评价的内容是职业的社会属性,评价目的是为了更好地认识该职业,作为管理者可以利用评价信息制定更科学合理的管理制度和政策。比如,对农民工作为一种职业的职业效益进行评价通常不合理,因为,首先,农民工不是一种职业,而是一类职业人,其次,不同职业的农民工的职业效益差异可能非常大,不能一概而论。即使在职业人群体评价中,也不宜用一个总指标来概括所有农民工,而需要分门别类进行,然后可以总结出共性问题和特殊问题。对一种职业的职业效益进行评价可以说是对事不对人,强调一般性,其时间范围会具有模糊性。

岗位是更具体的工作地点,对岗位进行职业效益评价有两种,一个是给定机构单位的具体岗位或同种岗位,二是同类机构单位的同种岗位。在一个机构单位内部进行岗位职业效益评价,可以比较不同岗位的职业收入和效益产出,更好地进行人力资源配置;对不同机构的同种岗位进行职业效益评价能够对不同机构的生产效率进行比较,发现管理存在的问题,更好地了解竞争对手和吸引优秀人才。

(七)评价主体

评价主体是评价活动的主持者,一般与价值主体不一致。价值主体可以是多元的,而评价主体是一元的,只能有一个,是评价活动的决策者。虽然具体评价活动的参与者包括工作人员可能很多,但是,确定评价结果的决策者只能是一个人或一个团体。当然,在复杂的评价活动中,不同的评价环节或子系统,评价主体可以不同,从而形成一个评价主体序列。

评价活动的顶层评价主体可以直接是评价任务的提出者,也可以是任务提出者委托的第三方评价机构。通常来说,最终评价结果的确定和发布是评价任务提出者的责权。

作为管理活动的职业效益评价,其评价主体是从业者、服务单位或其他利益相关方;作为评价专业活动的职业效益评价,其评价主体是社会专门咨询与评价机构或学术研究者。

(八)评价指标体系

评价指标体系是一个评价方案的主要部分。在价值关系中,价值客体是以自己的客观属性提供给价值主体,满足价值主体的需要,价值效果是价值供给和价值需要的融合反应。设价值客体满足价值主体的属性集合是:{x1,x2,…xn},价值效果是z,则从价值关系的客观存在性角度看,有关系式:

z=f(x1,x2,…xn)

其中的 f 代表价值主体的价值需要,它与价值供给{x1,x2,…xn}发生作用,产生价值反映 z。属性指标集中的指标一般具有物理量纲,而价值效果则是一个相对价值指标,一般是无量纲的,或者用人们熟悉的分数表示。

价值关系通常是隐性的,需要一定的开发过程将其揭示出来,这不是容易的。评价学存在的理由之一即在此。因为在正式的评价中,评价对象一般比较复杂,直接揭示上述关系式比较困难,所以,一般是根据系统的物理结构和属性的意义结构,形成如图6-1形式的层次评价指标体系。

图片2.png


资料来源:刘新建
. 系统评价学[M]. 中国科学技术出版社,2007:57

 

在图6-1中,G是总指标,是对总价值效果的测度;最底层的指标集合{X1,X2,…Xn}相当于价值客体的属性指标集{x1,x2,…xn},在纯粹理论上应该是绝对客观的事实,可以用一定的物理仪器或其他技术测量出来,或者用专业学科公式计算出来。在{X1,X2,…Xn}G之间的各层次指标一般都是价值指标,没有通常的物理量纲。从{X1,X2,…Xn}G,概念的抽象层次越来越高,其间层次的多少决定于评价对象系统的复杂程度,一般在三级以内。

在实际评价问题中,很难做到用物理方法测量{X1,X2,…Xn}中的每一个指标,特别是一些心理行为指标,只有采用定性的方式测度,其中已经包含了专家的主观判断或价值主体的价值赋值。

职业效益评价的指标体系随评价目的和价值主体的不同而不同。以从业者为价值主体和评价主体,职业岗位为价值客体和评价对象,从业者从其职业生活中获得的效益首先可以区分为物质效益和精神效益两方面。物质效益的计算比较简单,但是,必须注意考察的时间长度。一个职位的短期效益和长期效益是不同的。比如,一般人会认同,如果所在单位是一个比较大比较高水平的平台,那么,个人成长的空间就比较大。省级机关公务员就比县级机关公务员的平均成长空间要大。成长空间大的职位,其长期物质效益也就大。物质效益适用于线性叠加的计算方式,其比较困难的是一些实物收益的折价标准的确定。

职业生活的精神效益评价是一件困难的工作。应当明白,精神效益是不能折算为物质效益用货币单位来衡量。人们的精神需求包括两个方面:情感需求和事业成长需求。情感需求通常包括交友需求、亲情需求、环境审美需求、压力释放需求。

交友需求突出体现了人的社会属性在情感方面的要求。职业生活中的交友一是可以有情绪宣泄的渠道,二是可以通过工作生活经验交流提高人们的社会认知水平和职业的能力水平。

亲情需求是人类家庭生活的结果,也是家庭维系的必要条件。由于谋生的压力,职业生活经常会侵害人们的亲情需求,而良好的亲情关系对于职业生活有促进作用,所以,作为有效运行的机构单位,应该为员工提供增加亲情的条件(现实中,有不少机构单位反其道而行之,拼命限制亲情需要的满足)。

环境审美需求是从业者对工作环境的要求。现代科学证明,环境会影响人的心情,从而影响工作效率。虽然很难做到不被干扰,但是,追求心理愉悦是人类的基本需求。如果工作环境总是给人压抑的感觉,那么,不仅影响工作效率,时间久了还会影响人们的身心健康。广义的环境可以包括自然环境、人工环境和人际环境。人际环境需求与交友需求和亲情需求对机构单位的要求有交集,有相互影响,在评价中,可以对他们进行分离,以人际环境专门表示人文氛围。

现代经济社会生活对人们的精神压抑是很严重的,如果不能得到有效缓解,会有严重的疾患后果,从而影响机构单位的正常工作。有企业在内部设立专门让员工发泄情绪的设施就是对这一要求的反应。友情、亲情和环境对人们缓解压力也是有积极作用的,在职业效益评价中专门设立压力释放需求指标可以考察这方面的一些特殊要求或解决方案。

在现代管理心理学或组织行为学中有自我实现需求概念,属于西方心理学的用语,在我国当代语言中,用事业需求事业成长需求更恰当,更能体现中国文化特色。追求事业成功是中国职业人的精神特征。不同的机构单位对一个具体人的事业成长所能提供的可能性是不同的,所以,从职业人立场出发,事业成长需求是职业生活的最核心需求。

对于职业的精神效益评价没有纯客观的测度办法,所以,测度一般是用打分或心理行为量表的方式。各分项指标相对于总指标是一种线性合成关系,且没有明显的客观权重。可以测度具体职业人的主观权重以获得评价模型;也可以,不对各项指标进行综合,而是分别评价单项,再采用层位评价模式以确定职业人对其职业的满意情况(参考本章第四节和第五节)。

从评价概念的内涵来看,对于物质效益的评价不能以给出货币值来结束,那样就不是评价而是估计,评价就要确定得到的货币数是否令职业人满意以及满意的程度。所以,职业效益评价就是要评测职业人对其职业或岗位的满意度。

在分别获得物质效益和精神效益的满意度以后,职业人可以根据自己对各项指标的综合判断来得到其职业效益评价值——综合满意度。

如果是管理者对员工或下级人员进行职业效益评价,一般相当于绩效评价,不过,管理者也可以站在职业人的角度对员工或下级的职业效益进行评价,以便于采取合适的人力资源管理措施,提高员工或下级的工作积极性。

(九)评价模型

评价模型是把指标集{X1,X2,…Xn}的值映射到总指标G的操作模式,可以是数学公式,也可以是一种对应表。当{X1,X2,…Xn}各分量的值取连续实数或整数时,通常需要数学公式,当{X1,X2,…Xn}的取值是分类或等级值时,则可以使用对应表的形式,即列出每一组评价指标值对应的总指标评价值。

评价模型不是越复杂越好,最简单的线性加权评价模型在许多情况下已经足够。在这里需要提醒的是,制定权重有各种方法,但不同方法确定的权重意义不同,不能滥用。比如人们喜欢的熵权法,其制定出的权重的意义不过是代表了样本指标值差异性或名义区分度的大小,与权重的初心”——对价值效果的重要性不是一个概念。通常的专家咨询赋权法(如层次分析法)只有在专家充分了解所要评估的价值关系内涵的情况时才有可能正确赋值,所以,咨询专家时不能只给一个表格和几句简单的说明,而必须详述评价方案。

评价模型的选择和评价指标体系的设计不是相互独立的,而是相互影响的。一定形式的评价模型需要一定内容的评价指标体系,指标值的可得性限制评价模型的选择。如广泛使用的数据包络分析模型需要一套投入-产出指标体系,而通常的线性加权评价模型需要的是同类评价指标集,不能把投入和产出混合加权。

虽然前面指出,适合不同的评价目的的评价指标体系和评价模型是不同的,但是,职业、工种和岗位作为价值客体,其产生的效果应该是一种客观存在属性,可以作为职业统计的内容,建立指标体系。如果有了正规的职业效果统计,则可以在需要时,根据评价目的建立评价指标体系,根据指标体系从职业效果统计中获取统计数据,从而提高职业效益评价活动的效率。

(十)评价标准

评价标准在评价理论和实践中有两种。第一种是测量标准或测量尺度,用来标度各项指标的测量值。对应纯粹统计性指标,其标准具有物理量纲。第二种是价值标准,用于确定价值客体的属性值对于价值主体的价值值,其一是从统计性指标值映射到价值性指标值,如一定量货币收入对于职业人的满足度,其二是从连续实数或整数价值指标值映射到层级性价值指标值,如百分制或十分制与优、良、中、合格、差五级制的对应关系。

对于第二种标准要避免简单的等距分级法则,可以考虑应用边际递增或边际递减或其他非等距分级法则,如采用90分以上对应优、85-90分对应良、70-85对应中,60-70对应合格、60分以下对应差。有时需要首先给出分级的定性定义,根据定性定义制定数量界限。根据聚类特征进行分级也是一种方法。标准的制定要重视内涵即质的规定性。

在职业效益评价中,个体职业效益标准要把职业人的切身感受放在第一位,管理者评价要把职责标准作为主要参照。

(十一)评价实施

所谓评价实施就是落实评价方案、获取评价指标数据、得出评价结果的过程。正式的评价实施要有详细的实施方案,准备充分的物力、人力和财力,有科学的组织计划。把一次系统评价工作作为一项系统工程,其运作过程如图6.2所示。

 图片3.png

资料来源:刘新建. 系统评价领域硕士学位论文的规范要求探讨[J].学位与研究生教育,2011 (6)

6-2展示了从系统评价方案研制到方案实施的一个逻辑步骤系统,其中创建评价支持系统阶段就是评价方案研制阶段,在此之前的属于项目立项阶段,在此之后的属于评价实施阶段。把评价实施作为一项系统工程,其过程分为三个基本阶段和一个收尾阶段。三个基本阶段即制定评价实施方案、实施评价方案和评价实施结果分析。收尾阶段的工作即是进行评价活动总结及资料存档。在中华武术中有一句格言:练功不收功等于白练功。系统工程项目的收功即收尾阶段是非常重要的,能够将实践中的感性和理性认识进行系统总结,产生认识升华,也能够为未来的相关工作提供经验和资料上的便利。

由社会职能机构或中介机构进行的比较复杂的职业效益评价应当遵循图6.2的方法论。如果评价是每年定期进行的,那么,在每年开始之前应首先学习上一年的研究报告和总结资料,对上一年的评价进行再分析,在此基础上,完善评价方案,然后再开始新一轮评价实施活动。

(十二)评价结果使用

在正式规范评价中,评价结果的发布和使用方式是一个非常重要的问题。同一个评价结果,由于发布和使用的方式不同,其管理和社会效果会差别很大。职业效益评价是机构人力资源管理特别是薪酬管理的基础。大家都熟悉的一个惯例是,许多企业的薪酬是不公开的,只有老板和主管知道,这就是为了避免薪酬差异造成员工心理的失衡,从而影响工作。但是,这种做法不是在所有的单位都适用。在公共部门,薪酬公开是大众对管理者和管理机构的公平公正性的监督渠道,如果允许暗箱操作,将引起群众猜忌和寻租腐败。可以看出,这里存在多个管理目标的冲突,有效的管理就是在这些冲突目标间做出折衷取舍。

评价结果的使用方式应在评价方案制定中予以考虑,它依赖于评价目的、评价主体和评价客体的特性,还可能与社会环境有关。如前指出,作为正式组织实施的评价,评价结束还应做好文件和资料的存档工作,这既是现代档案管理的要求,也为以后的评价和管理工作提供了借鉴和基础材料。




https://wap.sciencenet.cn/blog-315709-1237643.html

上一篇:求科普:电子是没有体积的?
下一篇:现代教学新技术——教板教学系统的进化构思
收藏 IP: 120.6.106.*| 热度|

3 姚伟 武夷山 王启云

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-25 12:13

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部