twhlw的个人博客分享 http://blog.sciencenet.cn/u/twhlw

博文

大模型还没有掌握非概率关系 精选

已有 2827 次阅读 2025-5-2 11:51 |个人分类:2025|系统分类:科研笔记

概率关系是指两个或多个事件之间的一种不确定性关系。它通过概率值来表示事件发生可能性的大小,概率值在 0 和 1 之间。例如,在抛一枚均匀硬币的试验中,“正面朝上”和“反面朝上”这两个事件之间就存在概率关系,每个事件发生的概率都是 0.5。概率关系的特点包括随机性、可量化性、条件性,事件的发生具有偶然性,不能完全确定,如抛骰子时,每个数字(1-6)朝上的结果是随机的,在抛掷前无法准确预知会出现哪个数字;概率能够用数值来表示,并且可以通过统计规律来估计或计算。例如,在统计足够多次抛硬币试验后,可以发现正面和反面向上的频率趋近于 0.5,进而确定其概率关系;事件发生的概率可能依赖于一定的条件。例如,在下雨的天气条件下,人们带雨伞的概率会比晴天高很多。这里的概率关系就依赖于天气条件这个因素。概率关系常常用于金融领域中的风险评估和资产定价,银行在评估贷款违约风险时,会考虑借款人的信用评分、收入、资产等因素,通过概率模型来计算借款人违约的概率,从而确定贷款利率和信贷额度。还有医学领域,在疾病诊断和治疗中发挥重要作用,医生可以根据患者的症状、检查结果等因素,利用概率模型来计算患者患有某种疾病的可能性,为下一步的诊断和治疗提供依据。

非概率关系是指事件之间不存在通过概率来描述的不确定性关系,而是可能基于因果、逻辑、函数等确定性的关联方式。例如,物体所受的重力大小与物体的质量和重力加速度之间存在非概率关系,它可以用公式 F=m×g(F 代表重力,m 代表质量,g 代表重力加速度)来准确描述,只要知道物体质量和重力加速度就能确定重力大小。非概率关系常常涉及确定性、可解释性、规律性等方面。事件之间的关系是确定的,只要给定条件,结果就可以完全确定,在数学运算中,1+1=2,这是一种确定的非概率关系,不会出现其他的运算结果。通常有明确的逻辑、物理、化学等原理或规则作为基础,化学反应中反应物和生成物之间的定比关系,是基于原子守恒定律等化学原理。遵循一定的规律或定律,这些规律在特定的范围内是普遍适用的,如牛顿运动定律在宏观低速物体的运动中具有良好的适用性,只要符合定律的适用条件,就能够准确地描述物体的运动状态。非概率关系应用领域有物理学领域,用于描述物理现象之间的关系,欧姆定律(V=I×R,V 代表电压,I 代表电流,R 代表电阻)描述了电压、电流和电阻之间的非概率关系,在电路分析中广泛应用。还有逻辑推理领域,在命题逻辑、三段论等推理过程中体现,“所有人都会死,苏格拉底是人,所以苏格拉底会死”,这是一个典型的基于逻辑关系的推理,其中的逻辑关系是非概率性的。

概率关系和非概率关系在我们理解和描述世界的过程中都发挥着关键作用,它们往往相互联系。例如,在科学研究中,可能先观察到一些具有概率关系的现象,然后通过深入研究发现其背后的非概率关系原理。反之,在复杂的系统中,也可能存在既有确定性关系又有随机性关系的混合情况。大模型目前确实还没有能够完全深入掌握非概率关系,不过它已经在努力向这方面发展。

文本生成方面的写作文、编故事这类任务中,大模型主要依据已有的文本模式来预测下一个词或句子。比如,它能根据开头“从前有一座山”,接着生成“山里有一座庙”等常见情节。但这种生成是基于概率的,它会根据大量故事文本中词语出现的频率来判断哪种组合更可能,而没有真正理解故事背后的逻辑必然性等非概率关系。关于逻辑推理类文本,像“因为今天下雨,所以地面湿滑”这样的句子,大模型大多能生成符合常理的内容,但这还是靠对海量语料中这类因果表达的高频搭配所构建的概率优势来实现的,并非如人类般深刻把握因果关系的本质。知识问答方面,当面对一些有明确因果关系的问题,如“金属导电的原因是什么”时,大模型可以结合自身训练的物理知识相关内容,给出电子在金属晶体结构中可以自由移动等答案,不过它并不像物理学家那样通过严谨的实验推导和理论构建来严格确定这层因果关系,而是在众多相关知识描述里提取出相对高频、可靠的解释内容,这背后依旧存在概率统计的影子。

对于复杂且需要多层非概率关系推导的问答,例如涉及多个学科交叉、需精准把握各个概念间逻辑关联的问题,大模型就容易出现错误或模糊不清的回答。其原因在于训练基础差异,大模型主要基于海量文本数据进行训练,这些数据本身是偏统计、偏概率分布呈现的,它通过计算词语共现概率等来学习语言模式,而非像人类通过实践、实验、系统理论学习等途径去深入探究和精准把握非概率关系。缺乏因果推导机制,大模型没有像人类大脑那样的专门因果推导机制和逻辑推理架构,人类可以通过观察现象、提出假设、验证实验等步骤来确定因果关系,而大模型只能从已有数据中挖掘出貌似合理的关联,无法真正理解因果的内在必然逻辑。知识表示局限,目前大模型的知识表示方式侧重于概率化的关联,把知识以分布式的向量形式存储,难以像人类用概念、命题、逻辑规则等清晰、精准的方式来表示非概率关系,所以在涉及非概率关系调用时不够得心应手。

未来的大模型需要融合知识图谱,把结构化的知识图谱融入大模型,知识图谱中包含大量明确的实体关系、因果链条等非概率关系信息,这样大模型在生成内容或回答问题时,就可以参考这些准确的非概率关系知识,提升对这方面内容的把握能力。同时,还需要引入逻辑推理模块,通过设计专门的逻辑推理模块,让大模型能够按照一定的逻辑规则去分析和处理信息,而不是单纯依赖概率统计,如搭建基于符号推理的子系统,使其可以处理“如果A,那么B”这类明确的逻辑关系。还应该强化因果学习,在训练过程中加入因果学习相关内容,让大模型学习如何从数据中挖掘因果关系,而不仅仅是关联关系。比如利用因果推断的统计方法、构建包含因果标注的数据集等,引导大模型更好地区分因果与关联,深入掌握非概率关系。

无标题.jpg

无标题1.jpg



https://wap.sciencenet.cn/blog-40841-1484275.html

上一篇:渐进自主性的"AI智能体"应该具有对世界的多元表征
收藏 IP: 124.64.126.*| 热度|

6 王涛 蒋大和 葛及 汪运山 王安良 曹俊兴

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2025-5-3 11:55

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部