moralscience的个人博客分享 http://blog.sciencenet.cn/u/moralscience

博文

结论奇异与方法缺陷

已有 4842 次阅读 2021-10-26 23:58 |系统分类:科研笔记

心理学研究,有时可能显得左右为难:如果研究结论是人所共知的,那就流于常识了;如果研究结论是出乎意外的,那就沦为奇谈了。结论流于常识的研究固然没有多大学术价值,结论沦为奇谈的研究却更需要警惕。《科学》上的一篇心理学研究论文及其后的一篇评论,很好地说明了警惕心理学研究中奇异结论的重要意义,也显示了方法缺陷是出现这种结论的根本原因。

2014年,《科学》上发表霍夫曼(Wilhelm Hofman)等的一篇论文《日常生活中的道德》,把道德研究由实验室转入现实生活,具有先导价值。他们通过智能手机评估被试的即时幸福感与目的感,在3天的时间里,每天评估5次;同时,要求被试报告在收到提示信息之前的1小时内,他们是否做了道德或不道德的行为、是否成为道德或不道德行为的对象、是否目睹了道德或不道德行为、是否听说了道德或不道德行为。该研究为了描述更有生态效度的道德生活图景,采用的样本有1252名被试,获得被试报告事件13240个。研究者对数据进行了精细分析,论文呈现了大量结果。

2015年,《科学》上发表沃克尔(Manuel Voelkle)对上文的技术性评论。沃克尔指出,原文中显示的结果,道德和不道德行为对日常幸福感的效应是令人印象深刻的,Cohens 0.57~1.34之间,属于中效应量和大效应量。这样的结果超过了主要生活事件对主观幸福感研究中观察到的效应量,也超过了积极心理干预的效应量。简单的道德或不道德行为,比如,给一名问路的游客指路或不尊敬自己的母亲,何以对日常幸福感和目的感有这样强的效应?这是奇异的发现。

为了理解这个问题,沃克尔认真而细致地查看霍夫曼等对研究结果的分析和解释。原文的分析有两步。第一步,研究者删除了全部报告中约70%的数据,理由是这些数据反映的事件与道德没有关系。第二步,对剩下的数据,进行2(道德,不道德)× 4(情况:做事、对象、目睹、听说)因素混合效应分析。沃克尔认为,这样处理和分析数据,在方法上是有问题的。

例如,删除这么多数据是不必要的。沃克尔指出,把与道德无关的情境作为基线水平,8种不同的条件(即上面的× 4)可由8个虚变量(dummy variable)来表示,就可用上研究所得的全部数据。原文作者把分析局限于道德与不道德行为,这就使分析的结果与日常生活中的道德没什么关系了,因为个体遇到的大多数情境都是与道德没有关系的,从而,这样的情形也与研究者原本要考察的问题相差很远了,或者说,已经文不对题。

实际上,霍夫曼等的研究中,只有104名被试(约9%)在一个道德行为之后直接做了一个不道德行为,只有18名被试(约1%)在一个不道德行为(约4%是目睹情况,约8%是听说情况)之后马上成为一个道德行为的对象。研究中报告的大效应量,就是来自这类极端条件之间的对比。因此,这样的效应量反映的其实是,如果一组人遇到一个道德情境,可以预期他们比一组遇到不道德情境的人更幸福。然而,对于日常生活中的道德研究,预期这样的之间存在幸福感、目的感的差异,实乃一种误导,因为忽视了这事件的低基线比率,描述的是一种不现实的情况,任何个体都极不可能经历从道德情境到不道德情境的直接转变。

沃克尔指出,在分析中包括与道德无关的情境,通过上面提及的虚变量方法,可以得到更现实的图景。经过重新分析,对应道德与不道德行为的变量,能够解释所有条件中幸福感波动的2%左右(R20.013~0.023)。根据Cohen的标准,这些都是小效应量,它们不仅为日常道德与幸福感提供了更现实的图景,而且与已有文献更为吻合。

总之,一项研究删除70%左右的数据,只分析30%左右剩下的数据,无论删除的标准或理由是什么,都显得在方法上是有问题的。道德行为与不道德行为之间的幸福感差异,原文的效应属于中效应量或大效应量,重新分析,这一效应属于小效应量,可谓有质的差别。相应地,原来令人惊异的结果,也就变得相对平常了。

参考文献

Hoffmann, W., Wisneski, D. C., Brandt, M. J., & Skitka, L. J. (2014). Morality in everyday life. Science, 345, 1340-1343.

Voelkle, M. C. (2015). Comment on Morality in everyday life. Science, 348, 767-767.



https://wap.sciencenet.cn/blog-2619783-1309596.html

上一篇:未来思维与行为预测
下一篇:术语含义与历史追踪
收藏 IP: 220.173.126.*| 热度|

9 宁利中 张晓良 尤明庆 李东风 杨正瓴 王平平 李毅伟 马鸣 张鹰

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-19 12:23

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部