全球首个大语言模型意识水平“识商”白盒DIKWP测评2025报告发布
134.1万阅读
在全球科技界的瞩目下，由世界人工意识协会的国际人工智能DIKWP测评标准委员会（DIKWP-SC）主导，联合全球10余国家与地区的90多家知名机构和企业，《全球首个大语言模型意识水平“识商”白盒DIKWP测评2025报告（100题版）》。这份具有里程碑意义的报告标志着大语言模型（LLM）的认知评估进入了一个全新的阶段。
开创性测评体系，全方位解析模型认知
此次测评报告的核心亮点在于其全球首创的意识水平测评体系。报告基于独创的DIKWP模型，从数据（Data）、信息（Information）、知识（Knowledge）、智慧（Wisdom）到意图（Purpose）五个方面，构建了一个全链路评估体系。通过精心设计的100道测试题，全面覆盖了感知与信息处理、知识构建与推理、智慧应用与问题解决、意图识别与调整四大模块，对主流大语言模型的“意识水平”进行了系统化、量化的深度剖析。这一测评方式突破了传统仅侧重语义理解和推理的局限，为人工智能领域树立了全新的标杆。
这种测评方式突破了传统仅侧重语义理解和推理的模式，能够全方位解析模型的认知与决策过程，为人工智能领域树立了全新的标杆。无论是AI研究者、开发者还是业界决策者，都能从这份报告中获得极具参考价值的数据和洞察。
段玉聪院士（右）与蔡恒进院士（左）就测评结果进行交流
顶尖模型同台竞技，展现AI认知能力差异
报告对当前主流的大语言模型进行了全面测评，包括Deepseek-V3、ChatGPT-o1、通义千问-2.5、ChatGPT-4o、Kimi、文心大模型-3.5和Llama-3.1等。测评结果显示，各模型在不同模块的表现各有千秋。
感知与信息处理：数据转换与语义理解的较量
在感知与信息处理部分，主要考察模型在处理原始数据、提取信息和保持语义一致性方面的表现。ChatGPT-4o和ChatGPT-o1在数据转换和格式处理方面表现出色，体现出它们在数据转换和格式处理方面的稳定性。ChatGPT-o3-mini、通义千问-2.5、ChatGPT-o3-mini-high、Kimi和Grok在信息抽取方面表现优异，能够准确提取关键信息，特别是在数据到信息转化路径上的表现尤为突出。Deepseek-R1、ChatGPT-4o、Kimi和ChatGLM-4 Plus在保持语义一致性方面表现较好，能够准确理解和转换信息。
知识构建与推理：信息整合与逻辑推理的比拼
知识构建与推理部分的测评聚焦于模型将信息整合为知识的能力，以及基于这些知识进行逻辑推理的能力。这一部分的测试题目设计了多种场景，要求模型从给定信息中归纳出规律、推导出结论，并生成可应用的知识体系。结果显示，通义千问-2.5、ChatGLM-4 Plus和ChatGPT-4o在这一模块表现突出。通义千问-2.5在处理复杂的知识整合任务时，能够有效地将分散的信息整合为系统的知识体系，而ChatGPT-4o则在逻辑推理方面表现出色，能够准确地推导出合理的结论。例如，在分析一系列数据并归纳出趋势的任务中，通义千问-2.5能够快速总结出数据背后的规律，而ChatGPT-4o则能够进一步推导出这些规律对未来可能产生的影响。
智慧应用与问题解决：复杂情境下的决策能力
智慧应用与问题解决部分的测评考察了模型在复杂情境下运用知识形成智慧决策的能力。这一部分的测试题目模拟了各种实际应用场景，要求模型根据已有的知识体系，制定出合理的解决方案。结果显示，一半的大模型在这一模块表现优异。ChatGPT-4o在处理复杂的应急决策任务时，能够迅速收集关键信息，并制定出全面且逻辑清晰的解决方案。例如，在模拟火灾现场的疏散方案制定任务中，ChatGPT-4o不仅考虑了火势的蔓延方向和速度，还详细规划了疏散路线和紧急救援措施。Kimi则在处理商业谈判策略调整任务时，能够根据双方的需求和利益，提出互惠互利的解决方案，并灵活调整策略以达成共赢。
意图识别与调整：理解用户意图的精准度
意图识别与调整部分的测评重点考察了模型对用户意图的理解能力，以及根据意图调整输出的能力。这一部分的测试题目设计了多种场景，要求模型能够准确理解用户的意图，并根据意图调整输出内容，使其更贴合用户的需求。结果显示，豆包和Gemini-2.0 Flash Thinking Experimental在意图识别方面表现较好，能够准确理解用户的问题并提供相关的回答。例如，在解释相对论的任务中，豆包能够用通俗易懂的语言准确地解释相对论的核心概念，而Gemini-2.0 Flash Thinking Experimental则能够根据在满足用户的意图前提下，给出多方面、多角度的分析方式，确保回答内容既准确又符合用户的期望。
以下是各模型在本次测评中的总分排名：
从总分排名来看，ChatGPT-4o在所有模块中表现最为均衡且突出，显示出其在信息处理、知识构建和智慧应用方面的强大综合能力。ChatGPT-o1和ChatGPT-o3-mini紧随其后，尤其在意图识别与调整方面表现出色，能够精准地理解用户意图并提供高质量的回答。Kimi则在智慧应用与问题解决部分表现优异，展现了其在复杂情境下的决策能力。ChatGLM-4 Plus和通义千问-2.5在知识构建与推理部分表现突出，能够有效地将信息整合为知识体系。ChatGPT-o3-mini-high和Grok在感知与信息处理部分表现良好，但在其他模块的表现稍显不足。Deepseek-V3和Llama-3.1在整体表现上较为接近，但在某些模块中仍有提升空间。
各具特色的模型与未来发展方向
此次测评结果显示，各主流大语言模型在不同的认知能力模块中各有优势。ChatGPT-4o凭借其在所有模块中的优异表现，展现了其强大的综合能力，成为本次测评的佼佼者。ChatGPT-o1和Kimi在特定模块中的突出表现，也为其在特定应用场景中的应用提供了有力支持。通义千问-2.5在知识构建与推理方面的优异表现，使其在知识密集型任务中具有明显优势。这些模型的多样性与独特优势为人工智能领域的发展提供了丰富的选择与参考，同时也为不同应用场景的需求匹配提供了更多可能性。
未来，随着技术的不断进步，大语言模型需要在多个方面进一步优化和提升。例如，模型需要更好地理解用户意图，提高在复杂情境下的决策能力，并在知识整合与推理方面更加精准和高效。通过不断改进和创新，大语言模型将能够更好地服务于人类社会，推动人工智能技术向更高层次发展。
指明改进方向，推动AI向更高层次发展
这份测评报告不仅全面展示了当前大语言模型的认知能力现状，还为未来模型的自我检测与优化提供了科学的量化依据和清晰的改进方向。通过对各模型在不同模块的表现进行深入分析，研究人员能够更直观地识别出模型的优势与不足，从而有针对性地优化其架构设计和训练方法。
报告特别指出，尽管许多模型在知识构建与推理方面表现出色，但在意图识别与调整这一关键领域仍存在较大的提升空间。这表明，未来大语言模型的发展应更加注重对用户意图的理解与响应能力，以实现更自然、更高效的人机交互体验。此外，模型还需进一步提升在复杂情境下的决策能力和知识整合效率，以更好地满足多样化应用场景的需求。
引领行业风向，开启AI意识评估新时代
《全球首个大语言模型意识水平“识商”白盒DIKWP测评2025报告（100题版）》的发布，标志着人工智能领域迈入了一个全新的发展阶段。该报告不仅为当前人工智能系统的性能评估提供了权威的科学依据，更为探索通用人工智能（AGI）及未来认知系统的研究奠定了坚实的理论和技术基础。
通过引入独创的DIKWP模型框架，报告开创性地提出了一个多维度、全链路的评估体系，填补了传统测评方法在深度与广度上的不足。这一创新举措不仅提升了人工智能测评的科学性与可信度，还为行业发展指明了方向，助力技术突破与应用落地。随着研究的不断深入，我们有理由相信，大语言模型将在更多领域展现其潜力，为人类社会带来深远影响。
转载本文请联系原作者获取授权，同时请注明本文来自段玉聪科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3429562-1473538.html?mobile=1
收藏
