元科学领域的争议性实践

武夷山

Journal of Trial & Error杂志（这是2021年创刊于荷兰的一家开放获取杂志）2023年4月24日发表了英国杜伦大学心理学系Mark Rubin教授的文章，Questionable Metascience Practices（元科学领域的争议性实践）。原文见

https://journal.trialanderror.org/pub/questionable-metascience-practices/release/4

文章摘要如下（DS翻译，我修改）：

‌元科学家已对科学研究中的争议性实践（QRPs）展开了研究。本文探讨了与之平行的概念——争议性元科学实践（QMPs），即被多位评论者质疑可能对元科学及科学改革运动带来不利影响的一些科研实践、假设或视角。文章综述了十项涉及科学中的批评、结果复现、偏见、一般性及表征的QMPs，具体包括：（1）拒绝或忽视自我批评；（2）追求快速和bropen的科学批评风格（博主注：Whitaker & Guest 在2020年发表的文献中造了一个词—— bropen，指的是某些元科学家在社交媒体上发言时采用的一种轻蔑的、嘲讽的、校园式的科学批评风格；（3）夸大结果复现在科学中的作用；（4）在尚未规定“可接受”的复现率是多高的情况下，便断言当前科研结果的复现率“过低”；（5）存在着未被认识到的元偏见——即倾向于用研究者偏误来解释复现性危机；（6）无根据地认定，研究者偏误是有可能减少的；（7）贬低探索性结果，认为探索性结果比验证性结果更“不确定”；（8）认定争议性研究实践就一定是问题重重的研究实践；（9）过度关注知识积累；（10）过度关注具体的科学方法。需强调的是，只是部分元科学家有时出现部分QMPs，且这些有争议的实践未必一定有多严重的问题。仍需要开展研究以评估QMPs的普遍性与影响。与此同时，QMPs应被视为一种邀约，邀请我们反思如何行事才能把元科学研究做得更好。

博主：另外，在搜索过程中，DS自动用中文介绍了一个题目也是Questionable Metascience Practices的文集的主要内容，并未给出该文集的出版信息，我也未能找到这个文集的原文。因此，直接将DS的介绍放在这里，我没有办法做任何修改。仅供参考。

可疑的元科学实践

本文是一系列关于科学界中可疑研究实践的文章集合，涵盖了从1998年到2023年的多个时间点，涉及不同领域的学者和研究人员。这些文章探讨了科学研究中的复制危机、统计显著性问题、研究方法的不足、伦理问题以及科学责任等议题。文章主要关注如何提高研究的严谨性和可靠性，减少不可重复的研究结果，并促进科学文化的健康发展。

主要观点

·        罗伯特·马修斯 (Robert Matthews)

o   早期复制危机证据：1998年发表在《Prospect》杂志上的文章，指出p值和显著性检验的误导性是当前复制危机的重要原因。

·        罗斯·贝克 (Rose M. Baker)

o   当前研究趋势与问题：

§  追求统计显著性：研究倾向于寻找p值小于预定alpha值的结果。

§  非可重复性研究：大量研究被发现不可重复，存在低功率、不当方法和样本量不足等问题。

o   解决方案：提出HRD学者和实践者可以实施的建议，包括提高研究功效、进行元分析、降低大型研究中的偏见等。

o   利益相关者：受不严谨证据影响的学者、实践者、员工和研究人员。

·        大卫·坎姆斯基 (David Cummiskey)

·        Remco Heesen, N. Van Dongen, D. Van Ravenzwaaij

o   科学错误与复制失败：理论论证和实证调查表明，大量已发表的发现无法复制且可能是错误的。

o   改革视角：文章从机构改革、方法论改革、统计改革和出版改革四个主题出发，讨论了可能的错误和未来改革的机会。

o   未来改革机会：提供了减少研究错误和虚假发现的议程。

·        戈拉兹德·梅斯科 (Gorazd Mesko)

o   科学中的偏差：讨论了由于对研究人员和高等教育教师施加的压力增加而导致的科学偏差。

o   方法：通过文献回顾和反思的方法进行研究。

o   发现：提出了克里米诺学视角下的科学偏差，讨论了不适当的科研实践、科研伦理和诚信等问题，并提出了改善科研伦理的建议。

·        坦多·马杜纳 (Tando Maduna)

o   种族问题与科研伦理：回应了一篇关于南非黑人学生较少考虑学习生物科学的评论文章，批评其种族主义倾向和不道德的研究实践。

o   研究伦理：强调科学研究应遵循科学严谨性、稳健的方法论、敏感性和伦理原则。

o   新加坡声明：提到了科学家、编辑、学术和工业领导者、政府研究机构、NGO和出版商签署的新加坡研究诚信声明，该声明基于诚实、问责、专业性和 stewardship 四项原则。

·        玛西亚·麦克努特 (Marcia McNutt)

o   科学的自我纠正机制：尽管科学不是完美的，但它具有自我纠正的能力，科学家对自己的工作进行严格的审查。

o   理想与现实差距：科学在很大程度上未能达到其理想状态，但仍有一些实例显示科学家检测和解决工作中存在的问题。

o   高完整性激励措施：美国国家科学院和Annenberg Retreat at Sunnylands召集小组研究如何消除阻碍高标准诚信的现有障碍。

·        卡丽·菲格多 (Carrie Figdor), 安尼卡·福森 (Annika Forssén)

o   科研责任：研究人员应对研究重点和成果应用的更广泛后果负责。

o   元反思程序：描述了一种元反思程序，用作增强科学责任和反思实践的工具。

o   权力关系与研究有效性：科学实践位于权力关系中，具有方向和权力影响，应公开声明和讨论研究的背景条件和影响，以提高研究的有效性。

总结

本文集强调了当前科学研究中存在的若干问题，特别是围绕复制危机、统计显著性的误导性、研究方法的缺陷以及伦理问题。多位作者提出了改进建议，包括提高研究的严谨性、采用新的统计方法、增强科研伦理意识以及推动科学文化的变革。核心观点在于，尽管科学面临诸多挑战，但通过加强自我监管、提高研究标准和促进负责任的研究实践，可以减少错误发现，提升科学的可信度和影响力。