《科学研究的可重复性原则》一文中提到的大量学术论文中的实验无法重复。

 

我认为不光是学术原则的问题，也与不同学科的研究风格差异有关。在生物或医学中常见的现象，在其它学科中未必。

 

对实验物理学家来说，误差分析是核心。不懂误差，就不懂实验物理。得到一个数字往往不难，数据分析工作的绝大部分时间，都是花在独立检验、一致性检验、以及通过这些检验恰当地估计各种误差，给出置信度上。高能物理中常见的表述方式是：（KamLAND的）实验结果在99.99996%的置信度上排除了中微子无振荡假设，得到的振荡参数是8.2^+0.6_-0.5。

 

在大亚湾实验的液闪研制中，曾经与化学家合作过很长时间，发现化学中基本上没有误差的概念（也就没有置信度的定量概念），十次实验中有一两次不能重复也不算什么，也不会大惊小怪地去把不能重复的原因找出来。这让我提心掉胆了很长时间，总觉得没有研究清楚，风险太大。容器污染、样品不纯、天气不好、心情烦燥，不可知的因素太多，而绝大部分化学实验也没有足够重大，以至于需要精确控制每一个因素。做得不好，再来一次呗。

 

这位化学家同事现在主要精力在生物医学方面，说：化学实验的精确度不能跟物理比，但还算好的，现在做的生物方面的实验，下次还能重复出来就已经很不错了。

 

高能物理中的误差数字，缺省一般指一个sigma，68%的置信度。确认一个新粒子或新现象，一般需要3-5个sigma，不同的领域有不同的约定俗成。中微子比较难探测，常用90%的置信度给结果，或者用3个sigma当做证据。在与核电的人打交道的过程中，花了好久才相互理解彼此的语言。他们说的误差常有两种，一种是95%的置信度，另一种是误差限，比如说允许误差2%，就是绝不允许超过2%。实际上从统计上看，真实误差远小于2%，尤其是跟高斯分布差得远的时候。需要安全的时候，精确就必须退居次席。

 

做天文的最让人惊讶的是，一个看上去很粗略的方案，很多东西都没有论证清楚，居然已经立项开始干了。大约天文学家的时尚，是在黑暗中摸索，主要目的是发现新现象，而不是定量研究精确的规律。既然目的是探索未知的东西，一切如计划就提不起兴致。