moralscience的个人博客分享 http://blog.sciencenet.cn/u/moralscience

博文

报告有偏差,引用再加剧 精选

已有 3826 次阅读 2022-2-5 23:58 |系统分类:科研笔记

作为一名研究者,对一个领域的认识和理解,主要来自文献。然而,相应领域的文献,不可避免地存在偏差,因此,很难有效、合理、全面地反映真实情况。如果不了解文献偏差问题,那么,以文献为基础的研究或实践,都可能出现麻烦。当前的研究可重复性危机,至少有一个原因是文献偏差;抑郁症治疗-患病悖论,也有一种潜在的解释是文献偏差。

文献偏差的情况多种多样,主要涉及4类,分别是研究发表偏差、结果报告偏差、操纵报告、引用偏差(de Vries et al., 2018)。这些偏差不仅会单独发生作用,而且还有协同作用,加剧文献的偏差情况。

研究发表偏差(study publication bias)是一个领域的研究更可能发表阳性结果而产生的文献偏差。医学上多达一半的随机控制试验从未发表,有统计学显著结果的试验比没有显著结果的试验更可能发表(Dwan et al., 2013)。

结果报告偏差(outcome reporting bias)指在发表的论文中不报告阴性结果,或者改变不显著的主要结果与显著的次要结果的地位(Dwan et al., 2013)。

报告操纵(spin)是扭曲结果的解释并误导读者的报告策略(Boutron et al., 2010)。例如,一项试验的主要结果是不显著的,作者仍然得出治疗有效的结论。通过聚焦于次要分析的统计显著性,就会发生报告操纵的偏差。例如,不是得出结论说,治疗方法X不比安慰剂更有效,而是得出结论说,治疗方法X的耐受性很好,对于以前没有接受过治疗的病人是有效的。如果一篇论文经过报告操纵,那么,治疗就会被认为是更有益的(Boutron et al., 2014)。

引用偏差(citation bias)是研究者在引用试验研究时,更偏好引用阳极结果而造成的偏差。这种偏差,使阴性结果很难被发现。有阳性结果的研究比有阴性结果的研究得到更多的引用(Duyx et al., 2017),从而,导致阳性结果的可见度提高。

有研究者(de Vries et al., 2018)收集了105项抑郁症试验的资料进行分析,结果发现:53项(50%)被国家食品与药物管理局(Food and Drug Administration, FDA)认定为阳性,52项(50%)被认定为阴性或可疑。对于阳性试验,有52项发表(98%),对于阴性试验,只有25项发表(48%)。因此,共有77项试验发表,其中25项是阴性的(32%)。

然而,其中的10项阴性试验,通过省略不利的结果或改变主要和次要结果的地位,在发表的文献中变成了阳性。如果没有获得FDA的审查意见,就不可能知道这些试验不是阳性的。在剩下的15项阴性试验(19%)中,5项在发表的摘要中进行报告操纵(即,得出结论说,治疗是有效的)。例如,一篇论文报告的主要结果不显著(p=0.10),然而,结论是试验表明氟西汀具有抗抑郁效果,比安慰剂产生的效应显著更大。另外5篇论文含有轻微的报告操纵,例如,说明这种治疗至少在数字上优于安慰剂。有1篇论文缺少摘要,但是,讨论部分给出的结论是,存在有效的趋势。

因此,对于77项发表的试验,只有4项(5%)清楚地报告,在那样的试验中,治疗不比安慰剂更有效。

使问题更加复杂的是,在201601月的Web of Science中,阳性试验被引的次数是阴性试验被引次数的约3倍(分别为92次和32次)。对于阴性试验,那些摘要有轻微报告操纵的试验得到平均为36次的引用,而有明确阴性摘要的试验平均得到25次引用。总之,这些结果表明,不同偏差的影响会积累起来,从而掩盖不显著的结果。

研究者(de Vries et al., 2018)指出,这些偏差也存在于其他研究领域,比如,心理治疗。由于没有标准化的试验登记,心理治疗领域的文献偏差更难被发现和分离。在心理治疗文献中,由于研究发表偏差或结果报告偏差,有过多的阳性结果(Flint et al., 2015)。对于美国国家卫生研究院资助的55项心理治疗试验来说,13项(24%)没有发表(Driessen et al., 2015),这些药物的疗效明显低于已发表的试验。

至于报告操纵,例如,142篇论文中的49篇(35%)在元分析中被认为是阴性的(Flint et al., 2015),但是,研究者(de Vries et al., 2018)发现只有12篇(8%)的摘要中的结论是心理治疗不比控制条件更有效。其余的摘要,要么是阳性的(73%),要么是混合的(19%),例如,结论是这种治疗对一种结果而非另一种结果有效。尽管不能确定这些试验预先设定的主要结果是什么,从而,不能确定具体的摘要是否有偏,但是,发表的心理治疗试验,显然提供了心理治疗有效性更为正面的印象。阳性心理治疗试验的被引次数也几乎是阴性试验被引次数的2倍(分别是111次和58次)。阴性试验有一个阳性的或混合的摘要,被引次数要多于阴性摘要的被引次数(分别是598726次)。

总之,由抑郁症药物试验和心理治疗的资料,可以清楚地知道,相应领域的研究情况,其实是存在明显的文献偏差的。作为一名研究者,应当知道文献偏差。显然,文献偏差是一个普遍而重大的问题,可以探索和思考的空间非常广阔。

参考文献

Boutron, I., Altman, D. G., Hopewell, S., Vera-Badillo, F., Tannock, I., & Ravaud, P. (2014). Impact of spin in the abstracts of articles reporting results of randomized controlled trials in the field of cancer: The SPIN randomized controlled trial. Journal of Clinical Oncology, 32, 4120-4126.

Boutron, I., Dutton, S., Ravaud, P., & Altman, D. G. (2010). Reproting and interpretation of randomized controlled trials with statistically nonsignificant results for primary outcomes. JAMA, 303, 2058-2064.

de Vries, Y. A., Roest, A. M., de Jonge, P., Cuijpers, P., Munafo, M. R., & Bastiaansen, J. A. (2018). The cumulative effect of reporting and citation biases on the apparent efficacy of treatments: The case of depression. Psychological Medicine, 48, 2453-2455.

Driessen, E., Hollon, S. D., Bockting, C. L. H., Cuijpers, P., & Turner, E. H. (2015). Does publication bias inflate the apparent efficacy of psychological treatment for major depressive disorder? A systematic review and meta-analysis of US National Institutes of Health-funded trials. PLoS One, 10, e0137864.

Duyx, B., Urlings, M. J. E., Swaen, G. M. H., Bouter, L. M., & Zeegers, M. P. (2017). Scientific citations favor positive results: A systematic review and meta-analysis. Journal of Clinical Epidemiology, 88, 92-101.

Dwan, L., Gamble, C., Williamson, P. R., & Kirkham, J. J. (2013). Systematic review of the empirical evidence of study publication bias and outcome reporting bias: An updated review. PLoS One, 8, e66844.



https://wap.sciencenet.cn/blog-2619783-1324135.html

上一篇:抑郁症悖论,应如何理解?
下一篇:文献有偏差,该如何应对?
收藏 IP: 113.13.46.*| 热度|

17 侯丹 王平平 李世斌 张晓良 徐长庆 尤明庆 孙颉 钟定胜 张俊鹏 宁利中 郑永军 李毅伟 陈智文 张鹰 杨正瓴 何应林 马鸣

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-28 04:58

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部