精选
信息不同于数据，信息是被赋予价值了的数据，即有价值的数据，包括客观部分（数）和主观部分（据）。人类通常使用的是信息中数与据的混合，而机器常常使用的是客观的“数”部分，没有主观的“据”。
一、信息与数据的区别
数据（Data）是客观事实的记录，是信息的载体。它可以是数字、文字、图像、声音等各种形式。例如，在一个数据库中，存储的员工年龄、姓名、职位等都是一些数据。年龄可能是一个数字，如“25”，姓名是像“张三”这样的文字，这些单独的数据看起来可能只是简单的符号或数值。
信息（Information）则是经过加工处理后，具有一定意义的数据。例如，通过分析员工年龄数据，得出公司员工的平均年龄为 30 岁，这就有了一定的意义，成为信息。它是对数据的解释、组织和提炼，能够帮助人们理解事物的状态、特征或趋势。
数据本身可能没有直接的意义。比如，一堆杂乱的数字序列，如“5、8、3、1”，在没有上下文的情况下，很难理解其代表什么。而信息则具有实用价值，它可以用于决策、知识获取等目的，气象数据经过处理后得到的天气预报信息，能为人们的出行等决策提供帮助。
数据的收集主要是为了记录客观事实，而信息的生成则是为了满足特定的需求，如决策支持、沟通等，企业收集销售数据是为了记录销售情况，但通过分析这些数据生成的销售报告（信息）是为了帮助管理层了解销售业绩并制定营销策略。
二、人机交互中的情况
机器主要处理的是数据。计算机系统本质上是通过二进制代码来处理各种数据。无论是输入设备输入的文本、图像还是语音信号，都会被转化为 0 和 1 的二进制数据流。如当你在语音助手上说“今天天气怎么样”，你的语音信号被麦克风捕捉后，会转化为数字信号，即一系列的数据。这些数据会被传输到服务器进行处理，服务器的程序会利用这些数据进行语音识别、语义理解等操作。
虽然机器处理的是数据，但它通过软件算法等将数据转化为人类能够理解的信息。在语音助手的例子中，服务器处理完数据后，会将天气预报等信息以文本和语音的形式呈现给用户。这些呈现出来的信息是基于对原始数据的处理和分析结果，它会根据天气数据库中的数据（气象站收集的温度、湿度等数据）生成当天的天气情况描述，如“今天晴，最高气温 30℃，最低气温 20℃”，这是从数据到信息转化的体现。所以，从机器内部处理的角度来看，更多地是处理数据，而人机交互的最终目的是将这些数据转化为对人类有用的信息，方便用户理解和使用。
三、大模型中的Word2vec打破了信息的二元论（0、1）或三元论（0、1、-1），实现了真正意义上的多元论
在传统的一些语言模型或者知识表示方法中，可能会存在二元或者三元的关系设定。如在某些简单的语言学关系模型中，可能只关注词与词之间的直接关系（二元），或者词与词、词与句子之间的关系（三元）。
Word2vec 通过其独特的训练方式打破了这种局限。它将词表示为向量，这些向量能够捕捉到丰富的语义和语法信息。例如，“国王”和“王后”这两个词，在 Word2vec 中对应的向量之间的关系可以体现出性别差异等复杂的语义关系，同时还能关联到其他相关的词，如“王子”“公主”等，这远远超出了简单的二元或三元关系的限制。Word2vec 中的每个词向量在高维空间中有多个维度的值。这些维度可以对应词的各种语义特征，从而达到了语义的多维度表示。比如，对于“苹果”这个词，可能有一个维度对应它的“水果”属性，另一个维度对应它的“可食用”属性，还可能有维度对应它的颜色（如“红色”）等。这种多维度的表示使得词能够在语义空间中从多个角度与其他词建立联系。这种多维表征实现了灵活的语义关系捕捉。它能够捕捉到同义词、反义词、上下位词等多种复杂的语义关系。以“狗”和“犬”为例，它们是同义词，Word2vec 可以使它们的向量在语义空间中距离很近。而对于“热”和“冷”这样的反义词，它们的向量方向可能会相反或者在向量空间中的相对位置有特定的模式来体现反义关系。同时，对于上下位词关系，如“动物”和“狗”，Word2vec 也能通过向量空间中的层级结构等关系来体现这种包含关系，从而在多元的层面反映词与词之间的语义关联。
在各种大模型中，一个 token 的维度通常有多种情况，以下是一些常见模型的 token 维度：
• Word2Vec：一般情况下，其向量维度可设置为 200 维左右，但具体的维度可根据实际任务和语料进行调整，常见的有从几十维到几百维不等。例如，有时为了在语义空间有较好的区分度，会将维度设置得稍大一些。
• BERT：BERT-Base 的 token 维度为 768 维，BERT-Large 的 token 维度为 1024 维。
• GPT 系列：GPT-2 的 token 维度根据不同的模型规模有所不同，例如较小的 GPT-2 模型 token 维度为 768 维，其参数量为 1.17 亿；而较大的 GPT-2 模型参数量为 15 亿，token 维度为 1024 维。GPT-3 的参数量为 1750 亿，其 token 维度为 12288 维。
• GLM 系列：GLM-130B 的 token 维度为 5120 维，GLM-33B 的 token 维度为 10240 维，GLM-1.3B 的 token 维度为 2048 维。
• PanGu 系列：PanGu-α 的 token 维度为 4096 维，PanGu-β 的 token 维度为 16384 维。
在 DeepSeek 大模型中，不同版本一个 token 的维度也有所不同：
• DeepSeek V2：其隐变量空间维度为 5120。• DeepSeek V3：嵌入维度即词向量的维度为 7168。• DeepSeek V2 Lite：隐空间维度为 2048。
在 DeepSeek-R1 大模型中，其输入维度是 2000，即每个 token 的维度为 2000。
此外，大模型中 token 的维度选择需要综合考虑多种因素，如模型的性能和计算资源等。通常维度越高，能表示的语义信息越多，模型能力越强，但同时计算也更难，训练时间长，还可能出现过拟合等问题。
转载本文请联系原作者获取授权，同时请注明本文来自刘伟科学网博客。
链接地址：https://wap.sciencenet.cn/blog-40841-1483992.html?mobile=1
收藏
