精选
大规模可重复性项目未能验证数十项生物医学研究成果
巴西一项独特的可重复性研究工作聚焦于通用方法而非单一领域，并引发了对改革的呼吁。
一项复制研究工作聚焦于那些依赖巴西生物医学研究中常用的三种方法得出的结果。图片来源：毛罗·皮门特尔/法新社/盖蒂图片社
由50多个研究团队组成的联盟开展了一项史无前例的工作，他们对大量巴西生物医学研究进行了调查，以再次核实这些研究的发现，然而结果令人沮丧。
这些团队能够复制出不到一半所测试实验的结果。这一比例与其他大规模重现科学发现的尝试所得到的比例相符。但据这些研究团队称，这项最新研究的独特之处在于，它聚焦于使用特定方法的论文，并且审视了一个特定国家的研究成果。
该研究的作者表示，这些结果为加强巴西的科学研究提供了动力。巴西里约热内卢联邦大学（UFRJ）的元科学研究员玛丽安娜·博埃沙特·德阿布鲁是该项目的协调人之一，她说：“我们现在有了从内部开始做出改变的依据——无论是通过公共政策还是在大学内部。”
这项研究成果于4月8日发布在 bioRxiv 预印本服务器上，尚未经过同行评审。
雄心勃勃的事业
这项大规模实验由巴西可重复性倡议组织协调，该倡议是里约热内卢联邦大学的研究人员于2019年发起的一项合作项目。德阿布鲁说，科学家们希望“基于方法，而非研究领域、所认为的重要性或引用次数”来评估出版物。而且他们希望大规模地开展这项工作。最终，巴西56个实验室的213名科学家参与了这项工作。
该项目是在新冠疫情期间开展的，这带来了许多后勤方面的挑战。而且各团队对于应在多大程度上严格遵循所测试的实验方案存在分歧。里约热内卢联邦大学的医生、项目协调人奥拉沃·博雷尔·阿马拉尔说：“这就好比试图把几十个各自有独特演奏方式的车库乐队变成一支管弦乐队。”
作者们首先对生命科学领域的文章进行了随机抽样审查，以确定巴西生物医学研究中最常用的方法，确保任何有兴趣加入该项目的生物医学实验室都有能力重现这些实验。
他们最终选择了其中三种方法：一种细胞代谢检测方法、一种扩增遗传物质的技术以及一种针对啮齿动物的迷宫测试。然后，作者们随机挑选了那些依赖这些方法、且在1998年至2017年间由至少一半成员具有巴西背景的研究团队发表的生物医学论文。
合作者们最初根据论文是否包含某些统计信息等因素，挑选了60篇论文进行复制。每个实验由三个实验室进行测试，一个独立委员会判断哪些测试是有效的复制。该联盟对47个实验进行了97次有效的复制尝试。
未能达标
作者们根据五个标准来判断一篇论文的可复制性，其中包括至少一半的复制尝试是否得出了与原论文方向一致的具有统计学意义的结果。只有21%的实验在使用至少一半适用标准的情况下是可复制的。
作者们还发现，效应量（实验中观察到的影响程度）平均而言，原论文中的比后续实验中的大60%，这表明已发表的结果往往高估了所测试干预措施的效果。
此外，用于衡量数据相对于平均值变化程度的变异系数，在原研究中比在复制尝试中低60%，这意味着原论文中的数据表现得更加“规范”。阿马拉尔说，这可能表明存在对更符合预期结果的选择性报告，或者对更不一致的数据的呈现不足。
低复制率，似曾相识
阿马拉尔说，这个结论可能看起来令人震惊，但它与之前的复制研究结果是一致的。例如，2011年发起的一项具有里程碑意义的工作召集了270名科学家，试图复制98篇心理学论文的结果。根据对复制的不同定义，他们仅成功复制了原研究中36%至47%的结果。另一项类似的旨在复制顶尖癌症研究实验室成果的倡议报告称，在所测试的23篇高影响力论文中，成功复制的不到一半。阿马拉尔说，这篇新预印本中描述的复制率比之前的研究报告的要低，部分原因是开展这些复制研究存在后勤方面的困难。
对于巴西圣保罗大学的生物化学家吉列尔梅·梅内贡·阿兰特斯来说，难以复制研究结果并不一定意味着存在错误或不当行为；这也不意味着巴西的科学研究比其他国家的差。他说，这些结果“反而可能反映了实验设计的局限性、方法记录的不完善，或者实验室之间的自然差异”。
巴西坎皮纳斯州立大学的生物学家马塞洛·莫里对此表示认同。他说：“在生命科学领域，精确复制一个实验尤其具有挑战性。”“像啮齿动物和细胞培养物这样的生物体，在暴露于温度、饮食、微生物群或培养基成分等环境变化时，可能会有不同的反应。” 他补充说，像抗体这样的试剂可能会存在批次间的差异。
尽管如此，莫里说这项研究还是敲响了一记重要的警钟。他说：“低可重复性凸显了我们在科学研究成果的产生、记录和交流方式上存在的结构性弱点。” 他还补充说，这些问题需要采取行动，比如公开共享数据和实验方案。
转载本文请联系原作者获取授权，同时请注明本文来自孙学军科学网博客。
链接地址：https://wap.sciencenet.cn/blog-41174-1483489.html?mobile=1
收藏
