moralscience的个人博客分享 http://blog.sciencenet.cn/u/moralscience

博文

外部与判断,均应细思量

已有 3479 次阅读 2022-3-23 23:57 |系统分类:科研笔记

当前的心理学研究,日益需要简短量表。缩减已有较长量表,成为一项重要的研究工作。缩减量表,不仅需要考虑量表的内部题项品质,而且需要考虑量表的外部题项品质、判断性题项品质(Stanton, Sinar, Balzer, & Smith, 2002)。特别地,量表的这些品质往往存在对立的性质,追求一类品质,可能损害另一类品质。因此,缩减量表是一个系统工程,题项的各种品质需要综合考虑,详细思量。前文已经介绍了内部题项品质,本文介绍外部题项品质与判断性题项品质。

外部题项品质反映的是一个题项与其他结构或其他外部效标的关系。在编制量表的文献中,外部题项品质是很常见的指标。其实,结构效度的外部评估是编制量表和缩减量表工作的一部分。有些研究者发表量表的简短版本时,就提供了外部评估的证据(例如,Crowder & Michael, 1991)。当然,使用同时效度或预测效度的相关系数作为题项选择的基础,主要出现在编制新量表的题项选择之中(Hinkin, 1995)。

在实践中,以一个被试样本的数据为基础,计算一个量表中各个题项与一个特定外部效标的相关系数,把这些相关系数的绝对值由大到小排列,从高往低确定保留的题项,是一种缩减量表的常见策略。乍看起来,这种策略可使简版量表具有良好的效标效度,同时又通俗易懂、便于操作。然而,相关系数会因不同的被试样本、测量工具、实施情境而有变化,因此,在一个样本中能够最佳预测一个外部效标的题项,在另一个样本中就可能无法达到最佳的预测效果。

显然,选择题项时以缩减量表的题项与一个外部效标的关系最大化为标准,还会降低简版量表与外部效标的区分效度。也就是说,如果缩减的量表与外部效标的相关系数很高,那么,这个简版量表可能成了外部效标的副本,而不太像是意欲缩减的量表。

同时,通过上述策略选择的题项,虽然可以很好地预测一个外部效标,但是,却可能无法很好地预测另一个完整量表对应的外部效标。任何缩减量表研究的首要目标,应当是能够重复完整量表所确立的网络关系模式。因此,在评估任何给定题项与外部效标的关系时,研究者应当寻找与多个相关量表存在中度相关、与多个无关量表存在低相关的题项。当然,这需要对简版量表进行系统检验,在实践上有较大的难度。

判断性题项品质是指那些需要主观判断或单独使用量表时不易评估的问题,没有统计指标作为基础。显然,研究者需要内部与外部题项品质之外的标准,来确定哪些题项应当保留在缩减的量表中。这类品质较为多样,例如,题项的表达清晰性、题项与一个特定反应总体的适切性、题项的内容与其他题项的语义冗余性、题项的突兀性、题项的相关性(即,表面效度)。

判断性题项品质的标准,可能比反映内部与外部题项品质的标准更难把握。例如,研究者如果没有考虑那些可能选作简版量表的题项的多种组合,就无法评估题项内容的语义冗余性。此外,有人或许认为,判断性题项品质不如内部或外部题项品质那么重要。比如,缩减量表时,强调高的内部一致性与效标效度证据,通常显得高于其他考虑。然而,在决定保留题项时,没有任何理由不看重判断性题项品质。例如,缺乏表面效度或者题项存在高度的语义冗余,很可能让被试消极对待测量(Stanton, Sinar, Balzer, & Smith, 2002)。

尤其需要注意的是,被试在心理测量时的反应偏差(response bias)(Paulhus, 1984)。由于题项的措辞可以影响反应偏差,研究者应当使用自己的专业知识,在缩减的量表中保留那些措辞最佳的题项。特别地,应当避免负面表述和绝对表述的题项(Holden & Fekken, 1990)。例如,“我对自己的工作不满意”就是负面表述;“我总是帮助同事解决问题”就是绝对表述。此外,题项的突兀性,即一个或若干个题项不属于所测结构的程度,也可能影响被试的作答动机(Mael, Connerly, & Morath, 1996)。

不难理解,对于量表的内部、外部、判断性题项品质,如果能够充分操作化,那么,研究者就可以把它们作为缩减已有量表的基础。基于这些品质而选择的最佳题项子集,亦即得到的简版量表,也就保留了原来量表的最佳特征。不过,至少在一些情况下,上述品质显得彼此矛盾。例如,最大化内部一致性倾向于危害效度关系(Kline, 1986),因此,一类题项品质(比如,内部题项品质)与另一种题项品质(例如,外部题项品质)是相反的。又如,表面效度高的量表很容易作假,而作假会影响效度关系(Bornstein, 1996),说明题项的外部品质与判断性品质也可能相互对立。再如,研究表明,题项选择的主观判断会对内部一致性信度有大的影响(Holden & Fekken, 1990),从而,题项的判断性品质和内部品质在一些情况下是冲突的。这些情形提示,研究者选择缩减量表中的题项时,需要进行深思熟虑的妥协。

由此可见,纵然研究者可以参照内部、外部、判断性题项品质来确定哪些题项保留在量表中,实现缩减量表的目标,但是,具体的过程应当全盘考虑,周密思量,作出综合情况更好的决策,获得整体效果最佳的简版量表。

参考文献

Bornstein, R. F. (1996). Face validity in psychological assessement: Implications for a unified model of validity. American Psychologist, 51, 983-984.

Crowder, B., & Michael, W. B. (1991). The development and validation of a short form of a multidimensional self-concept measure for high technology employees. Educational and Psychological Measurement, 51, 447-454.

Hinkin, T. R. (1995). A review of scale development practices in the study of organizations. Journal of Management, 21, 967-988.

Holden, R. R., & Fekken, G. C. (1990). Structured psychopathological test item characteristics and validity. Psychological Assessment, 2, 35-40.

Kline, P. (1986). A handbook of test construction: Introduction to psychometric design. New York: Methuen.

Mael, F. A., Connerly, M., & Morath, R. A. (1996). None of your business: Parameters of biodata invasiveness. Personnel Psychology, 49, 613-650.

Paulhus, D. (1984). Two component models of social desirability responding. Journal of Personality and Social Psychology, 46, 598-609.

Stanton, J. M., Sinar, E. F., Balzer, W. K., & Smith, P. C. (2002). Issues and strategies for reducing the length of self-report scales. Personnel Psychology, 55, 167-194.



https://wap.sciencenet.cn/blog-2619783-1330754.html

上一篇:高的一致性,其实非所宜
下一篇:要缩减量表,可依路线图
收藏 IP: 220.173.126.*| 热度|

17 杨韩 宋玉 李世斌 王平平 侯丹 孙颉 杨正瓴 宁利中 范振英 尤明庆 钟定胜 郑永军 张俊鹏 张晓良 谢钢 李毅伟 马鸣

该博文允许注册用户评论 请点击登录 评论 (4 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-29 22:49

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部