数十年前，包括理查德•费曼在内的一些物理学家注意到了一件令人担忧的事情：对基本物理常数的最新估值常常更接近已经公布的值。这些物理学家意识到，其他研究人员更可能“认可”而非反驳预期的结果，不符合研究人员预期的结果经常会受到系统性的排除或修改。【Ref.1】
“证实性偏见”这个心理因素常给试验带来人为偏差。如果以前的测量结果是A，那么你也期望得到A。如果测到的结果确实是A，那很好。如果相差较远，你可能会怀疑自己在某个环节中出错了。然后，你会试图寻找可能导致错误的原因，直到发现它。或者你会一遍又一遍进行试验，直到获得“合理的”结果后停止试验。【Ref.2】
最近的引力常数测量的偏差其实不是一个典型的例子。光速的测量更明显。从下图中可以看出，虽然测得越来越精确，但结果随年代先是集体偏高，然后是集体偏低，并不符合“围绕中心值”随机涨落的统计特性。
为了消除这种“证实性偏见”，科学家提出应该进行“盲法分析”（Blind Analysis）。2015年，伯克利的诺奖得主珀尔马特与斯坦福的一位心理学教授在《自然》上撰文“盲法分析：隐藏结果，寻找真实”。
实际上粒子物理中普遍采用盲法分析要早得多。2003年笔者在美国做中微子实验MiniBooNE，这注定是一个有争议的实验，因此从一开始就采取了盲法分析。具体的措施是：在几年内获取的数据中，凡是有可能是信号的，随机抽10%公开，其余90%封闭；不是信号的本底都可以公开。当用本底和10%的信号建立分析工具，反复验证，确信方法成熟后，再打开全部数据。一旦打开全部数据，无论结果如何，都不准再修改方法。
后来盲法分析成了粒子物理界的一种时尚，好象不用都不好意思跟人说。但也有例外。大亚湾中微子实验取数前夕，我们评估后认为不应该采用盲法分析，一位美国合作者坚决要用，我则极力反对。一方面，由于我们要测的量，以前并没有结果，因此不存在“证实性偏见”的问题；另一方面，实验面临激烈的国际竞争，我们封闭数据，应该封闭多久呢？对手随时都可能宣布结果，我们等一年，还是三年？几个回合争论下来，取了折衷：实验数据都不封闭，但封闭三个参数，包括探测器离反应堆的精确距离、反应堆的运行数据、探测器的精确质量。这三个参数我们大致知道，但不知道精确数据。这样，不影响分析方法的建立，而且假如所测的量很大，在封闭参数的情况下也能估出来，但精确的数值是盲法分析的。
“这是我的一个秘密，再简单不过的秘密：一个人只有用心才能看到真实；事情的真相只用眼睛是看不到的。”
【Ref.1】文字摘自《科学之家》“盲法分析——偏见的克星？”
【Ref.2】部分文字参考了《原理》公号关于引力常数文章，“一个我们熟知的基本常数，其实具有很大的不确定性
【Ref.3】https://www.nature.com/news/blind-analysis-hide-results-to-seek-the-truth-1.18510
转载本文请联系原作者获取授权，同时请注明本文来自曹俊科学网博客。
链接地址：https://wap.sciencenet.cn/blog-296183-1133842.html?mobile=1
收藏
