JohnXie的个人博客分享 http://blog.sciencenet.cn/u/JohnXie

博文

向‘统计显著性’说再见:一篇期刊文章与它背后的故事 精选

已有 9785 次阅读 2022-4-14 18:55 |个人分类:海外生活|系统分类:海外观察

 

上周我参与作为共同作者之一的一篇开放获取期刊(Open Access)文章终于发表了(见下图)。相信每一篇原创研究成果期刊文章的发表都有一个值得讲述的故事,下面我就来讲一讲这篇文章背后的故事。



当时还是PhD学生的文章的第一作者Sunita从三年多前就开始了这个漫长的投稿文章的初稿写作、投稿、按审稿人意见修改文稿、提交修改稿、等待结果… 的学术成果发表的艰苦磨练过程。Sunita来自尼泊尔,来到了我们学校Orange 校区在Geoff Gurr 教授的指导下做博士学位的学习研究。我因为对Sunita 提供了统计数据分析的实质性的支持而成为共同作者之一。

Sunita的科研题目是关于昆虫(害虫与它们的天敌/益虫)与农作物(比如叶菜蔬菜)及农田周围环境条件(如农田四围的植被种类及数量等)之间的相互关系,Geoff Gurr 教授是这方面的国际知名的专家。如上面的图所示,Sunita在她读博期间选择了四块农田(上左图,F1F4)作为观察研究对象。这四块农田位于距离她所在的Orange 校区100公里左右的范围,为当地农民正在实际耕种的农田,每块农田尺寸大小不一但都在150米到200米之间大致呈矩形。如上右图所示,昆虫的采样点是以农田的边界为基准向中心按三条穿越线不等距分布(1米,5米,10米,20米,50米,70米,180米);共分四个不同时间点进行了观察采样;被采样的昆虫分为爬行类与飞行类两种,捕捉到后再细分次级种类。Sunita想知道的是,昆虫数量与种类与农田的农药水平、农田边界类型、与边界距离的分布情况,这些变量之间的数量变化关系。

在完成了数据收集的工作后,从2019年初Sunita就开始了期刊文章的初稿的写作,作为我的本职工作的一部分,我为她提供统计数据分析的支持帮助。Sunita决定向Frontiers in Sustainable Food Systems期刊投稿。对于统计分析,SunitaGeoff Gurr 教授都认为还是遵从惯例搞个回归模型。我提醒他们,这是一个典型的观察性研究,有一个统计模型也不能代表分析结果可以从统计抽样分布理论的角度作一般性的推广;从技术层面,Sunita的数据包含了昆虫数量在时间与空间的变化,要用上generalised linear mixed-effect regression model (GLMM)。在实际做了描述性及探索性数据分析后发现,如同在大多数同类对昆虫数量研究时所遇到的,许多的采样点在某个时间点都是0(没有昆虫被捕捉到)。那么对应的回归模型就应当是zero-inflated generalised linear mixed-effect regression model。我告诉Sunita,我可以帮助她用Rzero-inflated GLMM模型,但她想用SPSS做,而我不知道如何用SPSSzero-inflated GLMM模型(似乎SPSS本身无法做,但从SPSS里调用R可以做,但本人愚笨不会做,也没想去学怎么做)。最后,Sunita选择用SPSSGLMM数据分析。投稿后,审稿人与期刊编辑对此研究课题与内容都很感兴趣,但对数据分析部分提出严重质疑,认为数据的独立样本量太小(四块农田而已)也没有在不同的季节进行观察采样,采样点之间的距离不够远(因此观察到的昆虫数量可能会是重复计算的结果)。从而认为最终的回归模型分析结果不可信。我注意到不论是SunitaGeoff Gurr 教授,还是Frontiers in Sustainable Food Systems期刊的审稿人、编辑,都是从统计显著性的角度来讨论统计数据分析结果,完全不考虑这是一个观察性研究项目,即使从统计假设检验范式的角度都不应当认为分析结果是统计上可看作普遍适用的。我私下里是极力建议SunitaGeoff Gurr 教授考虑从描述性及探索性数据分析的角度来做结论,并建议考虑用贝叶斯网络模型来做分析。但他们认为,没有‘统计显著性’来做统计分析是很难被期刊的审稿人及编辑所接受的。SunitaGeoff Gurr 教授这样的担心完全是合理的,果不其然,在经历了两轮审稿、修改后,前后折腾了接近一年,期刊编辑依然决定拒稿。最终,直到Sunita结束了在我们学校的PhD的学业,取得学位回到尼泊尔,她的这篇论文依然未能在期刊上发表。在我继续讲述Sunita的这篇文章后来如何能起死回生,在Frontiers in Ecology and Evolution期刊上发表的部分之前,我先要岔开讲另一个相关的故事。

2017年底,我为Geoff Gurr 教授的一男一女两位非洲国家坦桑尼亚的博士生(以在其本国学习研究为主,短期到我们的Orange 校区以面对面的方式接受Geoff Gurr 教授的指导)提供了统计数据分析的咨询/支持服务,比如教他们学习/练习如何用R进行统计数据分析。因此,在这两位博士生回到坦桑尼亚后把他们的科研成果写成期刊文章的时候也把我作为共同作者之一。从我的角度,一方面我的确为他们的数据分析及其相关的文章的方法部分的写作提供了切实性的帮助支持,另一方面是虚荣心使然,想着多一篇期刊文章也不是什么坏事。还有一方面的原因是,他们在坦桑尼亚的研究项目还有英国的一间大学的学者参与,包括统计分析部分。这个研究项目是他们整个研究团队两三年的努力的结果,如果因为我一个人坚持拒绝‘统计显著性’的统计假设检验范式而造成文章无法被期刊接受发表,我岂不成了trouble maker。权衡之下,我于是采取了不主动过问,随波逐流的态度处理这件事。Geoff Gurr 教授的这位男非洲国家坦桑尼亚的博士生决定向PeerJ期刊投稿一篇关于豆科植物的昆虫授粉方面的研究成果的文章。从2019年写初稿到后来按审稿人意见修改、再投稿,等等,也搞了超过一年时间,期间我只是针对该博士生的具体统计问题提供帮助(比如应该考虑哪种统计检验方法,某个图的R代码等等),他也没有要求我对文章进行审阅,我也乐得省心省事,也一厢情愿地假设其它更资深的共同作者会把好质量关。文章终于得以202010月份刊出(如下图所示)。可是,当我静下心来仔细读了这篇文章后,我为其中的统计分析部分及其相关的对分析结果的解释结论所犯的一个又一个的我完全不能接受的错误而惭愧/羞愧得无地自容。这篇文章的统计分析从头到尾都是围绕统计显著性的概念来做分析得结论,甚至把“统计上非显著的”结果解释成“没有实际效应”。比如,在比较“昆虫授粉”,“人工授粉”,与“人工阻止授粉“三种实验处理对豆类植物的产出的分析上,仅仅凭着“统计上非显著的”结果就得出“昆虫授粉”与“人工授粉”之间没有真正的差别这样的荒唐结论。


从2019年初开始我一直在不断地利用所有可能的机会宣传鼓吹应该把‘统计显著性’从统计数据分析的实践中彻底清除出去,现在可好,我自己作为共同作者之一的期刊文章是如此的依赖‘统计显著性’,更不用说其中对‘非统计显著性’结果的错误解释。尴尬无奈之余,我写下了一篇四五页纸“我的忏悔”的东西,以私人通讯的形式给了Geoff Gurr 教授。写这个东西的目的有两个:一是承认自己作为共同作者未能尽到责任坚持原则的错误;二是我给出了针对这篇文章的科研问题如何做才是我认为的正确的统计数据分析的具体做法。比如,我所作出的详细的描述性统计分析结果远比干巴巴的统计假设检验分析的二分化结果要丰富有学科意义得多。我这样写道:Therefore, “…, the number of dye-marked (KW = 2.926, df =2, p=0.2315) and total sampled (KW = 1.792, df =2, p=0.4082) insects did not vary significantly between the zones.” is a wrong way to apply statistics even under the NHST paradigm.  Such a hypothesis testing results essentially told us little about what were really happened quantitatively.  A straight forward descriptive statistical data analysis can do a much better job.  From descriptive data analysis we may have the following analysis outcomes.

From the descriptive analysis outcomes, we can see how misleading it has been of those conclusions based on hypothesis testing outcomes – the empirical evidence is so strong to indicate that the distributions of number of insects are very different between zones! Such a valuable scientific research finding was buried under the dichotomous ‘true or false’ counterintuitive and misleading answers.  Furthermore, because of the loss of information due to hypothesis test, we lost the real opportunity to further explore the reasons behind the interesting distribution patterns discovered for different zones. 

所谓‘家丑不可外扬’,我的这些忏悔与不满的意见也只能仅仅局限于我与Geoff Gurr 教授之间的交流,我当然不想扮演那么一个‘丑人’的角色对整个共同作者团队发这样的牢骚,事情也就到此为止。同时我当然也不把这篇文章放在我的researchgate的网页上,因为我实在是觉得对我来说这是一件问心有愧的事。

现在让我把话题拉回到Sunita的这篇发表在Frontiers in Ecology and Evolution期刊的文章这件事上来。前面说到,SunitaPhD学习期间的科研成果直到她(大约在2020年底或2021年初)毕业了也未能在期刊上发表。时间来到了202110月,Geoff Gurr 教授联系我,说Frontiers in Ecology and Evolution期刊正在搞一个专题特辑向他约稿,他想把Sunita的当初未能发表的文章改写投稿,问我是否可以做共同作者。因为有了我前面讲述的他的非洲PhD学生的故事以及Sunita文章被Frontiers in Sustainable Food Systems期刊拒稿的经历,这次我对Geoff Gurr 教授非常坦诚直截了当地谈了我的意见。我说,如果是仍然按回归模型的路子去搞,我就不参与了;若能按描述性与探索性统计数据分析的路子,搞一个贝叶斯网络模型来估算/预测昆虫数量,我就参与。这一次SunitaGeoff Gurr 教授接受了我的建议。于是在我们的文章中就有了这样的统计分析方法的段落:

而我们的贝叶斯网络模型(Bayesian Network model)是长得这个样子:

经过了我们全体共同作者近六个月的同心努力,文章终于在上个星期刊出。至此,虽然在时间上推迟了一年半载,也为Sunita在Charles Sturt University的PhD学习最终划上了一个圆满的句号。对我个人来说,我也用实际行动再一次证明了“抛弃‘统计显著性’,我们能够把统计数据分析做得更好。”




https://wap.sciencenet.cn/blog-3503579-1333915.html

上一篇:一个小学生的“迷你”科学研究论文及其背后的故事
下一篇:闲聊澳大利亚的工资收入与房价
收藏 IP: 49.187.152.*| 热度|

20 刘硕 姚伟 李宏翰 黄永义 王涛 宁利中 张俊鹏 檀成龙 池德龙 梁洪泽 李建国 王安良 杨正瓴 刘秀梅 吴斌 张珑 张鹰 刘利 杨立坚 葛及

该博文允许注册用户评论 请点击登录 评论 (3 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-28 03:36

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部