科学网-[阅读笔记] 人类推理中复杂性和准确性的平衡-杨正瓴的博文

切换到桌面版

[阅读笔记] 人类推理中复杂性和准确性的平衡

2022-8-3 15:36

阅读：2649

[阅读笔记] 人类推理中复杂性和准确性的平衡

一、《Human inference reflects a normative balance of complexity and accuracy》要点

NatureHB 2022 Human inference 图2 复杂性增加带来的收益递减_小_拉曲线.jpg

图2. 复杂性增加带来的收益递减。

（a）图1中模型的算法复杂度。

（b）不准确度与复杂度的幂律递减。

（c，d）幂律的指数随噪声（c）和波动率（d）而变化。

（e，f）在固定的波动率和变化的噪声下，不准确度和准确度随复杂性的变化而变化。

https://www.163.com/dy/article/H9EPODFR0511D05M.html

通过将每个模型的算法复杂性与它相对于贝叶斯基准的性能联系起来，发现了一个收益递减的幂律：如图2所示，增加一个模型的复杂性会使预测的改进逐渐变小（图2b-f）。通过使用最复杂的模型，预测精度达到最大。然而，在高噪音和低噪音下，低复杂度的模型已经在贝叶斯最优模型的10%以内（图2e中浅蓝色和深蓝色的线条）。

同样地，当波动性较大时，低复杂度策略的表现几乎与完整的贝叶斯模型一样好（图2f 中的红色和棕色线条）。这些结果表明，复杂的推理程序只在有中等数量的噪声和低基本波动率的狭窄范围内有用。这些结论在“足够好”的阈值范围内是稳健的（图2e, f中黑色阈值线的移动），并且对非常不同的模型实现方式也是如此。

结论：

（1）复杂的模型只有在狭窄的条件范围内才是必要的，否则较简单的模型就足够好。

（2）极其简单的策略（例如，证据、先验和无记忆模型）在广泛的条件下几乎达到了准确率的峰值。

（3）当噪声过高（所有模型的表现都一样差）或过低（甚至简单模型的表现也很好）时，复杂推理的好处就不复存在了。因此，当波动率较低时，存在一种非单调性（'倒U'）模式，这样简单的模型在低和高噪音时就足够了，但在中等噪音时就需要复杂的策略；当波动率较高时，简单的策略总是足够好。

原文摘要节选：

increasing complexity gives progressively smaller gains in accuracy. The rate of diminishing returns depends systematically on the statistical uncertainty in the world, such that complex strategies do not provide substantial benefits over simple ones when uncertainty is either too high or too low.

增加复杂性会带来越来越小的准确性增益。收益递减率系统地取决于世界上的统计不确定性，因此当不确定性太高或太低时，复杂的策略不会比简单的策略提供实质性的好处。

二、历史上一些类似的观点

（1）在时间序列预测里，对于实际世界里的大多数数据，随着训练模型的历史数据样本容量，预测的准确率也是 U 形变化的：使用太少的历史数据，预测不准确；反过来，使用过多的历史数据，预测往往也会逐渐变得不准确。

（2）组合预测之谜（Forecast Combination Puzzle）

simple combinations of point forecasts are repeatedly found to outperform sophisticated weighted combinations in empirical applications.

实际预测的经验反复发现：点预测的简单组合，比尖端复杂的（高大上）加权组合更好。

（3）钱穆制度陷阱

一个制度出了毛病，就再制定一个制度来防止它。结果制度越来越多，往往造成前后矛盾、执行困难，反而失去效率与效力。

（4）坎贝尔定律（Campbell's law）

当你把一项重要的评估完全交给某一套评估体系去完成的时候，这套体系往往会失效。

若一个社会指标被用于社会决策的程度越高，这指标就越容易受到腐化的压力影响，也越倾向扭曲和损害这指标所测定的社会过程。

The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.

（4-2）古德哈特定律（Goodhart's law）

英国经济学家 Charles Goodhart 在 1975 年发明了一个以他名字命名的 Goodhart 定律：

某种评价一旦被选择用来作决策时，这种评价就开始失去其价值了。

Once a measure is chosen for making policy decisions, it begins to lose value as a measure。

（4-3）卢卡斯批判（Lucas Critique）

The Lucas critique, named for American economist Robert Lucas's work on macroeconomic policymaking, argues that it is naive to try to predict the effects of a change in economic policy entirely on the basis of relationships observed in historical data, especially highly aggregated historical data.

以美国经济学家罗伯特·卢卡斯 (Robert Lucas) 的宏观经济政策制定工作命名的“卢卡斯批判”认为，试图完全根据历史数据，尤其是高度汇总的历史数据中观察到的关系来预测经济政策变化的影响是幼稚的。

参考资料：

[1] 集智俱乐部，2022-06-16，大脑认知的「复杂性红利」：简单就足够好

https://www.163.com/dy/article/H9EPODFR0511D05M.html

[2] Gaia Tavoni, Takahiro Doi, Chris Pizzica, Vijay Balasubramanian, Joshua I. Gold. Human inference reflects a normative balance of complexity and accuracy [J]. Nature Human Behaviour, 2022, 05-30 在线

doi: 10.1038/s41562-022-01357-z

https://www.nature.com/articles/s41562-022-01357-z

[3] Jeremy Smith, Kenneth F. Wallis. A simple explanation of the forecast combination puzzle [J]. Oxford Bulletin of Economics and Statistics （牛津经济与统计公报）, 2009, 71(3): 331-355.

doi: 10.1111/j.1468-0084.2008.00541.x

https://onlinelibrary.wiley.com/doi/epdf/10.1111/j.1468-0084.2008.00541.x

[4] 央视网，2012-01-17，公款消费不准喝茅台必须跳出“钱穆制度陷阱”

http://news.cntv.cn/china/20120117/113268.shtml

历史学家钱穆在分析中国历史时指出，*，一个制度出了毛病，再定一个制度来防止它，相沿日久，一天天地繁密化，于是有些制度变成了病上加病。越来越繁密的制度积累，往往造成前后矛盾。这样，制度越繁密越容易生歧义，越容易出漏洞，而执行新制度的人往往在分歧争执中敌不过固守旧制度的人，因而越来越失去效率。

[5] 戴汝为. 从定性到定量的综合集成法的形成与现代发展[J]. 自然杂志, 2009, 31(6): 311-314,326.

http://ss.cqvip.com/Qikan/Article/Detail?id=32592589

https://www.nature.shu.edu.cn/CN/abstract/abstract7678.shtml

[6] 新华网，2015-06-08，中国高考国际化道阻且长多元评价或是未来方向

http://www.xinhuanet.com/world/2015-06/08/c_127887424.htm

美国哈佛大学教育学研究生院教育专家安德鲁·霍认为，坎贝尔定律同样适用于教学评价体系。“坎贝尔定律说，当你把一项重要的评估完全交给某一套评估体系去完成的时候，这套体系往往会失效。在高考这一案例中，学生关注的焦点可能不再是实际能力，而全部转移到，关注高考这一评价体系本身，这导致，考试不涉及的科目和知识将完全得不到重视。”

[7] 新华网，2021-06-02，不要让KPI带偏学术研究

http://www.xinhuanet.com/tech/2021-06/02/c_1127520499.htm

让科研工作者不为事务性工作困惑，安心从事科研工作。