氢分子医学分享 http://blog.sciencenet.cn/u/孙学军 对氢气生物学效应感兴趣者。可合作研究:sunxjk@hotmail.com 微信 hydrogen_thinker

博文

细看NIH如何克服动物实验不可重复性问题 精选

已有 8750 次阅读 2014-1-28 18:04 |个人分类:自然科学|系统分类:海外观察


长期以来,科学被认为是具有自我纠错能力,这一原理也似乎一直有效。但是,最近这一原理似乎遭受打击,并导致学者之间重复研究成为困难。特别是关于动物实验结果的重复性问题,已经越来越受到从科学家到普通民众的广泛关注,并促使我们建立新的指导原则以纠正这一问题。作为NIH的负责人,我们在这里和大家一起讨论和分析这个问题,并提出一些措施。

 虽然没有证据表明出现这一现象的原因是由于学术不端,但学术不端肯定是其中一个因素,例如,2011年美国卫生与人类服务部学术诚信办公室发现12例学术不端案件,显然只是冰山一角,大量造假论文在数万论文掩护下顺利发表确定无疑。

导致研究结果无法重复的原因比较复杂。如对科研人员科研设计方面的培训不足、鼓励发表一些不强调细节而故弄玄虚的结论、对实验设计不严格审核的学术出版物都是重要因素。忽略实验设计细节如单双盲、随机、重复、样本数量和性别等因素都可能影响到实验结果可靠性。少数科学家声称使用所谓独特秘方才可成功,为避免别人跟踪保持竞争优势拒绝在论文中透漏研究细节。这样的态度怎么才能让其他科学家在其基础上进一步深入?

政府、资助机构、学术机构和科学出版商的态度也不不能逃避责任。例如资助机构往往不加鉴别地鼓励学者在高影响杂志上发表论文。为鼓励在高影响杂志上发表论文,学术机构采用职位、研究条件甚至现金等奖励措施。

对待未发表数据也存在严重问题。很少有学者愿意发表阴性研究结果,更不愿意推翻和修补过去研究存在的问题和缺陷。这导致许多重要研究数据无法被其他学者获得。

临床前研究问题

可重复性是所有科学学科中普遍存在的问题,人类临床试验应该有比较高重复性。因为临床研究在设计和独立监督方面有非常严格的制度,例如必须遵守随机、双盲、样本量估计、效果标准化分析和数据公开注册等规范。一些临床试验组织甚至还采用了标准报告规范。

不过临床前研究,特别是动物实验研究的情况就不一样了。动物实验研究甚至已经成为结果无法重复的重灾区。许多理由是简单而苍白,例如动物种属、实验环境、实验方案的不同。结果无法重复也可能是由于统计学误差和发表偏倚导致。另外一个陷阱是所谓的“假说驱动”实验,就是所谓围绕研究目标拼凑实验证据,过度解读研究意义,甚至故意忽视阴性结果的严重问题。

NIH的措施

作为资助机构,NIH密切关注并设法克服这一问题。考虑到实验设计培训薄弱的问题,NIH正在制定如何提高实验结果重复性和透明度的培训方案,并对提高课题设计能力进行重点培训。这项工作将纳入NIH系统内博士后培养计划。先通过试点,年底在所有研究结构推广。一些NIH的研究所和中心正在测试一种核对单,以提醒基金评审人对研究设计的系统性评估。需要核对的内容包括实验设计是否适当,数据搜集和分析是否依照随机、单或双盲原则等。去年NIH已经对这一改革内容进行了尝试,每份申请书至少有一位评审人对项目申请依据的关键文献的科学性进行专门评估。这尤其对那些基于动物实验结果拟开展的临床研究具有重要价值。如果对要开展的临床研究十分重要的文献有疑问,将首先对临床前研究进行独立验证,以避免盲目开展临床研究带来的高昂代价。根据前期试点的结果,NIH将在第四季度决定是否采纳这种制度。

在提高研究数据透明度方面,NIH也将作出努力,不仅要求发表论文的数据公开,而且要建立未发表数据和原始数据库。如果有学者使用了这些数据并构成了引用,可依据这些信息建立新的不依赖论文发表的学术贡献评价体系。如果相关技术开发顺利,新系统将在20149月投入运行。NIH将启动一个在线论坛PubMed Commons,鼓励学者对已发表论文展开公开讨论。作者可参加、评估或直接评论,这一系统已经进行了试运行,1月内有2000多名作者参加,贡献了700多条评论。

公众责任

显然,研究结果可重复性不仅是NIH的问题。也涉及到公众、科学出版者、大学、企业、职业团体、专利宣传组织等。尤其是学术期刊,就应该鼓励发表阴性结果和对过去研究纠正的研究。

令人高兴的是,一些杂志已经在这方面作出了表率。例如《自然》集团20135月声明,废除对研究方法部分篇幅的限制,以确保作者对关键技术方法的详细描述。作者使用编辑和评审人核对菜单以对实验设计进行评估。编辑对统计分析的评价主要依靠统计学家的帮助。同时鼓励作者在线提交更多支持论文的原始数据。在美国神经功能异常和中风研究所要求提高研究数据透明度的基础上,《科学转化医学》和《科学》杂志也相继提出了和《自然》类似的规定。

      更棘手的问题是学术激励制度。因过分强调在高影响杂志上发表论文,部分原因无疑和研究经费紧张,各学术机构无奈鼓励学者尽快发表成果,这显然会影响研究结果的可重复性。为克服这个问题,NIH考虑修改其简历格式,要求基金申请人对研究的具体贡献进行描述,并分析这些贡献在申请项目中的作用。霍华德休斯医学研究所曾经采用这种格式,发现这比传统的论文列表更能全面客观体现出申请人的实际贡献。NIH还在考虑调整经费资助模式和周期,以给学者提供更稳定的研究支持,降低经费申请的竞争压力,鼓励进行更大灵活性更长周期的研究项目。另外,目前的项目申请所有申请人的信息都暴露无遗,这可能会导致一些偏见,NIH正在尝试采用匿名评审以克服这些影响。

单纯依靠NIH不可能完全改善现在不健康的科研环境,如大学的职称晋升委员会也必须主动抵制采用懒惰不恰当方式代替同行评议,特别是不能简单使用期刊影响因子和论文数量作为学术贡献和未来学术潜力的评价依据。

众多学术期刊存在研究结果不可重复的论文现象,要求大家必须立刻采取切实行动,NIH坚决开展系统改革以减少这种事态的扩大,但最终成功必须依靠所有相关人员的共同努力。 

505612a.pdf



https://wap.sciencenet.cn/blog-41174-763026.html

上一篇:NIH院长评论动物实验可重复性问题
下一篇:日本ADNI项目涉嫌造假
收藏 IP: 223.166.30.*| 热度|

8 王德华 陈钢 唐凌峰 刘蓉晖 杨金波 zhangling yunmu rosejump

该博文允许注册用户评论 请点击登录 评论 (2 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-11-1 08:11

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部