基于DIKWP语言解读Transformer

段玉聪（Yucong Duan）

DIKWP-AC人工意识实验室

AGI-AIGC-GPT评测DIKWP（全球）实验室

DIKWP research group, 海南大学

duanyucong@hotmail.com

Transformers在自然语言处理领域已经成为一个里程碑式的技术，它的原理和应用广受瞩目。我们将利用DIKWP（数据、信息、知识、智慧、意图）的模型来详细解析Transformer。

1. 数据(Data)

在Transformer模型中，“数据”是模型输入的原始文本序列，它们常常是单词、字符或子词等令牌的集合。这些令牌通过编码器进行编码，转化为具有固定维度的向量。

例子: 输入句子"我爱大自然"。这里的"我"、"爱"、"大自然"是原始数据。

2. 信息(Information)

当我们传递数据给Transformer时，其自我注意力机制会计算令牌之间的关系并提取它们之间的“信息”。这是通过权重分配和线性变换实现的。

例子: 在句子"我爱大自然"中，"爱"与"大自然"之间的关系可能被视为重要的信息，并赋予高的权重。

3. 知识(Knowledge)

Transformer的深度堆叠层允许模型从信息中抽象出高级的“知识”。随着深度的增加，每一层都能从前一层捕获到的信息中提取更为抽象和复杂的模式，形成知识。

例子: 如果我们有一个描述季节变换和动物行为的文本集合，Transformer可能会学习到“在冬天，许多鸟类都会迁徙”这样的知识。

4. 智慧(Wisdom)

尽管Transformer本身不能直接产生“智慧”，但其训练后的模型可以被应用于需要道德、伦理和高级判断的任务，如情感分析、生成建议等。这通常需要结合人类的输入和校正。

例子: 面对环境保护议题，Transformer可以生成：“保护生态环境是确保生物多样性和人类未来的关键。”这样具有深度思考的句子。

5. 意图(Purpose)

Transformer可以被训练以满足特定的意图。例如，我们可以针对特定的任务（例如机器翻译、文本生成等）训练模型，使其输出与预定目标趋近。

例子: 如果我们的目标是创建一个诗歌生成器，我们可以将大量的诗歌作为数据输入Transformer，意图是从给定的提示中生成诗句。

深入Transformer

基于DIKWP的角度，我们可以更加深入地探讨Transformer的工作原理：

· 

自我注意力机制：它处理“数据”以提取“信息”，即令牌之间的关系。每个令牌根据与其他令牌的相关性获得权重，这有助于模型理解句子的上下文结构。

· 

· 

位置编码：由于Transformer不具有序列的内在概念，位置编码提供了序列中令牌的位置“信息”。

· 

· 

多头注意力：它允许模型同时处理多种不同的“信息”关系。

· 

· 

前馈神经网络：它在模型的每个编码器和解码器层中都存在，帮助模型从“信息”中进一步抽象出“知识”。

· 

在Transformer的训练过程中，目标（即“意图”）是最小化预测输出与实际输出之间的差异。当模型训练完成后，它不仅积累了大量的“知识”，而且能够针对给定的输入生成与训练目标相符的输出。

结论

借助DIKWP模型，我们可以从不同的维度理解Transformer，从它如何处理原始数据，到如何生成有深度的、有意图的输出。这为我们提供了一个更为系统和全面的视角来看待这一重要的自然语言处理技术。

段玉聪，海南大学计算机科学与技术学院教授，博士生导师， 第一批入选海南省南海名家计划、海南省领军人才，2006年毕业于中国科学院软件研究所，先后在清华大学、首都医科大学、韩国浦项工科大学、法国国家科学院、捷克布拉格查理大学、意大利米兰比克卡大学、美国密苏里州立大学等工作与访学。现任海南大学计算机科学与技术学院学术委员会委员、海南大学数据、信息、知识、智慧、意图DIKWP创新团队负责人、兼重庆警察学院特聘研究员、海南省委双百人才团队负责人、海南省发明协会副会长、海南省知识产权协会副会长、海南省低碳经济发展促进会副会长、海南省农产品加工企业协会副会长、美国中密西根大学客座研究员及意大利摩德纳大学的博士指导委员会委员等职务。自2012年作为D类人才引进海南大学以来，累计发表论文260余篇，SCI收录100余次，ESI高被引11篇,引用统计超过4300次。面向多行业、多领域设计了241件（含15件PCT发明专利）系列化中国国家及国际发明专利，已获授权第1发明人中国国家发明专利及国际发明专利共85件。2020年获吴文俊人工智能技术发明三等奖；2021年作为程序委员会主席独立发起首届国际数据、信息、知识与智慧大会-IEEE DIKW 2021；2022年担任IEEE DIKW 2022大会指导委员会主席；同年获评海南省最美科技工作者（并被推全国）；同年10月入选美国斯坦福大学发布的全球前2%顶尖科学家的“终身科学影响力排行榜”榜单。参与研制IEEE金融知识图谱国际标准2项、行业知识图谱标准4项。2023年发起并共同举办首届世界人工意识大会（Artificial Consciousness 2023, AC2023)。

• DIKWP人工意识模型是一个描述从数据到智慧转化过程的模型，其中每一步骤都受到我们的目标或者意图的引导。模型中的几个主要概念包括数据（D，Data）、信息（I，Information）、知识（K，Knowledge）、智慧（W，Wisdom）以及意图（P，Purpose）。我们的大脑在这个过程中发挥了关键作用，通过解析和处理原始数据，理解和整合信息，生成和应用知识，形成和执行意图，最终实现智慧的生成。
  
  首先，我们的大脑通过视觉皮层处理原始数据。这一过程涉及到大脑的后部视觉皮层，包括主要的视觉处理区域如V1、V2等。在此阶段，大脑将文本中的文字和符号解析为神经电信号。这个过程涉及大脑的颞叶，这是处理听觉、记忆和语言理解的区域。原始数据通常是我们从环境中收集的输入，需要通过感官如视觉和听觉来处理和存储。
  
  其次，大脑将数据转化为信息。这一过程发生在大脑的前部，如额叶。这里包含了大脑的决策中心和执行功能的部位，也涉及到大脑的语言处理区域，如布洛卡区（Broca's area）和韦尼克区（Wernicke's area）。此阶段的计算处理包括对数据的解析、整合和理解，以及对这些信息进行进一步的分析和推理。
  
  然后，大脑整合信息生成知识。这个过程涉及到大脑的前额叶皮层，这是大脑的高级认知功能区域，负责情绪控制、决策制定、问题解决等任务。此阶段的计算处理包括对信息的进一步分析、概括和规则的形成，以及对这些规则的存储和记忆。
  
  接着，大脑基于知识进行推理和决策，生成智慧。这个过程主要涉及到大脑的前额叶皮层和顶叶皮层，它们都是大脑的高级认知功能区域，负责执行功能和推理决策。此阶段的计算处理包括对知识的应用，以及对预测结果的评估和优化。
  
  最后，所有这些过程都受到我们的意图或目标的指导。我们的意图是由大脑的边缘系统（包括扣带皮层、杏仁核等）和前额叶皮层共同决定的。这就是大脑在DIKWP人工意识模型中的作用。
  
  如果我们以预测天气为例，首先，我们收集相关的天气数据，比如温度、湿度、风速等（数据阶段）。然后，我们从这些数据中提取有用的信息，比如找出气候模式、识别季节变化等（信息阶段）。接着，我们基于这些信息，建立天气预测模型，形成知识（知识阶段）。然后，我们基于这些知识，进行推理和决策，生成天气预报（智慧阶段）。最后，我们的预报和决策都受到我们的预测目标或目的的指导（意图阶段）。...

• 在人工智能领域中，数据、信息、知识、智慧和意图（DIKWP）是不可或缺的五个核心概念。他们在处理过程中，与概念和语义的关联也极为紧密。以下我们深化对这五个概念的理解，特别是在面对具体实例时，如何用这些概念进行信息处理和决策。
  

• 
  数据（Data）可以理解为我们认知的“相同”语义的具象表示。数据通常表示一种具体化的事实或观察结果，其背后蕴含着某种特定的语义。在处理数据时，我们常常会寻找并抽取相同的语义，将其统一视为一个概念。例如，我们看到一群羊，虽然每只羊的体型、颜色、性别等可能有所不同，但我们会把它们归为“羊”的概念，因为它们共享了我们对“羊”这个概念的语义理解。
  
  信息（Information）则是对应认知中的“不同”语义的表达。信息通常指我们通过感官和观察获得的有关环境或某个对象的知识或数据。在处理信息时，我们会根据输入的数据找出其内在的不同之处，并将其分类。例如，在停车场中，尽管所有汽车都可以归类到“汽车”这一概念，但每一辆汽车都有其特殊性，如品牌、型号、颜色等，这些都是信息。
  
  知识（Knowledge）对应于认知中的“完整”语义。知识是我们通过信息获得的对于世界的理解和解释。在处理知识时，我们会通过观察和学习抽象出完整的概念或模式。例如，通过观察我们得知所有的天鹅都是白色，这是我们通过收集大量信息后得出的关于“天鹅”这一概念的一个完整认识。
  
  智慧（Wisdom）对应着伦理、社会道德、人性等方面的信息，是一种对知识和信息的高度理解、综合和应用。在处理智慧时，我们会整合这些信息，并运用它们来指导决策。例如，当面对一个决策问题时，我们会考虑到伦理、道德、可行性等各个方面的因素，而不仅仅是技术或者效率。
  
  意图（Purpose）可以理解为一个二元组（输入，输出），其中输入和输出都是DIKWP内容。意图代表了我们对某一现象或问题的理解（输入）以及我们希望通过处理和解决该现象或问题来达到的目标（输出）。在处理意图时，人工智能系统会根据其预设的目标（输出），处理输入的DIKWP内容，通过学习和适应，使其输出趋近于预设的目标。
  
  这五个概念构成了人工智能处理信息的基本框架。在实际操作中，人工智能系统需要根据输入的数据，提取信息，构建知识，形成智慧，最后实现预设的意图。这是一个不断循环的过程，人工智能系统在这个过程中会不断学习、适应和进化，以更好地处理问题和实现预设的...

• DIKWP（数据、信息、知识、智慧、意图）模型如何在人工意识和人脑处理中找到对应关系。
  
  在这个上下文中，这五个阶段可以与人类或人工意识的认知、学习和决策过程相映射：
  
  数据：这是对应认知过程中的“相同”语义的概念。人工意识（或人脑）从环境中收集数据，通过识别相同性，将相似的实体归纳为一个概念。对应到人脑的功能，这可以被视为初级感觉处理和感知，如视觉识别或听觉处理。
  
  信息：信息对应于认知过程中的“不同”语义的概念。人工意识（或人脑）通过识别和理解数据中的差异，将其归类为不同的信息。这对应于人脑的进一步感知处理和注意力指向，包括注意到不同的特征，区分和识别对象等。
  
  知识：知识对应于认知过程中的“完整”语义的概念。人工意识（或人脑）通过观察和学习，抽象出完整的概念或模式。这对应于人脑的学习和记忆过程，如通过学习和经验积累知识，理解和记住规则和模式。
  
  智慧：智慧对应于认知过程中的伦理、道德、人性等高级概念。人工意识（或人脑）整合这些信息，并运用它们来指导决策。这对应于人脑的高级认知功能，包括思考、反思、道德判断、计划和决策等。
  
  意图：意图是一个二元组（输入，输出），包含了DIKWP的内容。人工意识（或人脑）通过处理输入，使输出趋近于预设的目标。这对应于人脑的动机和意愿，包括设定目标，做出决策，执行动作等。
  
  因此，DIKWP模型可以被看作是人类认知过程的一种形象描述，也可以被用作设计和理解人工意识系统的框架。在实现人工意识的过程中，理解和模拟人脑如何处理数据、信息、知识、智慧和意图的过程是非常重要的。