7B-13B-175B：解读大模型的参数
摘要
大模型的大小通过参数数量度量，参数如同模型的“脑细胞”，数量影响其性能。大模型参数包括权重、偏置、注意力机制参数、嵌入矩阵和隐藏状态初始化参数等，以Float、Half/BF16、Int8、Int4等格式存储。训练时内存需求涉及模型状态和激活过程，推理时内存需求较低，但微调会增加内存占用。基于Transformer的大模型训练内存需求有理论下界，可估算GPU数量，且在实际应用中需考虑多种优化技术以平衡性能与成本。
关键词
大模型；参数；内存需求；GPU需求；优化技术
一、引言
随着人工智能技术的飞速发展，大模型已成为推动该领域进步的核心力量。大模型以其庞大的参数数量为显著特征，这些参数如同模型内部复杂神经网络的关键“构造元素”，对模型的性能起着决定性作用。从GPT-3的1750亿个参数到Grok-1令人瞩目的3140亿个参数，以及Llama系列从70亿到700亿参数的不同规模，参数数量的巨大跨度反映了模型能力和复杂度的差异。深入理解大模型参数的构成、其对内存和GPU资源的需求，以及相关的优化技术，对于推动大模型在实际应用中的发展和提升效率至关重要。
二、大模型中的参数
2.1参数的类型及作用
在大模型中，参数是构成模型内部结构的关键要素，不同类型的参数承担着各自独特且重要的功能。
权重（Weights）在神经网络里扮演着类似“电线”的角色，连接着各个神经元。在全连接层中，权重矩阵W就像是一幅详细的“地图”，它明确地展示了输入特征和输出特征之间的紧密关系，通过调整信号传递时的“音量”，确保重要信息能够在神经元之间有效地传递，而相对不重要的信息则以较弱的强度传播。
偏置（Biases）可看作是神经元的“小助手”，其核心作用是为神经元的响应设定一个基准。神经元依据这个基准来判断自身应在何种水平上活跃，从而维持信号传递的稳定性和准确性。
在基于Transformer的模型中，注意力机制的参数发挥着“指南针”的功能。这些参数包括查询矩阵、键矩阵和值矩阵等，它们能够帮助模型在大量复杂的信息中精准地找出最具价值和相关性的“线索”，引导模型将注意力聚焦于关键信息，从而提升对输入数据的理解和处理能力。
当处理文本数据时，嵌入矩阵充当着模型的“字典”。每一列都对应着一个特定的词汇，并通过一个数值来表达该词，使得模型能够将文本中的词汇转化为可理解的数学表示，进而理解文本的内在含义。
隐藏状态初始化参数用于设定模型最初的隐藏状态，就如同为模型的“思考”过程确定一个起始的基调，让模型从合适的状态开始对输入数据进行处理和分析。
2.2参数的存储格式
大模型中的参数在存储时通常采用以下几种格式，不同格式在精度和存储空间占用上各有特点。
Float格式采用32比特的浮点数来存储参数，即每个参数占用4字节的存储空间。这种格式能够提供较高的数值精度，在早期的深度学习模型训练中应用较为广泛，但由于其占用空间较大，在处理大规模参数时对存储资源的要求较高。
Half/BF16格式使用16比特的浮点数，每个参数仅需2字节空间。相比Float格式，它在一定程度上牺牲了精度，但显著减少了存储空间的占用，在一些对精度要求不是特别苛刻，而更注重存储效率和计算速度的场景中具有优势。
Int8格式以8比特的整数来存储参数，每个参数占用1字节。这种格式进一步压缩了存储空间，适用于一些对精度要求相对较低，但对存储资源极为敏感的应用场景。例如，在一些边缘计算设备上，由于硬件资源有限，使用Int8格式可以在有限的存储空间内存储更多的模型参数。
Int4格式将参数存储为4比特的整数，每个参数仅占用0.5字节，是一种更为紧凑的存储格式。虽然其精度相对较低，但在某些特定的硬件环境和应用场景下，能够极大地减少存储需求，提高模型的存储和传输效率。
2.3参数规模对模型性能的影响
参数规模是影响大模型性能的关键因素之一。一般而言，参数数量越多，模型的表达能力就越强，能够拟合更为复杂的模式。例如，GPT-3凭借其1750亿个参数，在自然语言处理任务中展现出了惊人的语言理解和生成能力，能够处理多种复杂的语言任务，如文本生成、机器翻译、问答系统等。更多的参数使得模型能够学习到数据中更细微、更复杂的特征和关系，从而提高预测的准确性。
然而，参数规模并非越大越好。当参数过多时，模型可能会出现过拟合现象，即模型过于适应训练数据中的噪声和特定细节，而在面对未见过的新数据时表现不佳，泛化能力下降。因此，在实际应用中，需要在参数规模和模型的泛化能力之间找到一个平衡。通常会采用一些正则化技术，如L1和L2正则化，来约束参数的取值范围，防止模型过拟合，同时结合大规模的多样化训练数据，提高模型的泛化性能。
不同参数规模的模型在不同的任务和场景中表现各异。例如，在一些对实时性要求较高、计算资源有限的场景中，较小参数规模的模型，如Llama的70亿参数模型，可能因其计算量小、推理速度快而更具优势；而在处理复杂的长文本分析、专业领域知识问答等任务时，像GPT-3这样的大参数模型则能够凭借其强大的知识储备和复杂模式拟合能力，给出更准确和全面的回答。
三、大模型参数对内存的需求
3.1训练阶段的内存需求
在大模型的训练过程中，内存的使用主要集中在两个关键方面：模型状态的存储和激活过程中产生的数据存储。
模型状态包括由优化器状态、梯度和参数组成的张量。优化器状态用于更新模型参数，确保模型在训练过程中朝着最优解的方向不断调整。梯度则反映了模型参数在当前训练数据上的变化方向和幅度，是参数更新的重要依据。每个模型参数都需要在内存中存储其自身的副本，以及对应的梯度副本。此外，优化器状态通常以FP32格式存储，因为这种格式能够保证训练过程中的数值稳定性，避免在参数更新过程中出现数值异常。一般来说，每个参数的优化器状态大约占用12个字节，主要用于存储参数的均值、方差等统计信息。
激活过程涉及在正向传播通道中创建的各种张量，这些张量在反向传播通道中用于梯度计算。在正向传播过程中，输入数据通过模型的各层网络，每一层都会根据输入数据和当前层的参数计算输出，这些输出结果形成了激活张量。在反向传播时，需要利用这些激活张量来计算梯度，以更新模型参数。因此，在训练过程中的任何时刻，对于每个模型参数，都必须确保有足够的GPU内存来存储模型参数复制的字节数（设为x）、梯度复制的字节数（设为y）以及优化器状态的12个字节。这样，训练时存储所有模型状态和过程数据所需的内存可以通过公式(x+y+12)*model_size来计算，其中model_size表示模型参数的数量。
3.2推理阶段的内存需求
推理阶段主要利用预先训练好的大语言模型（LLM）来完成各种实际任务，如文本生成、翻译等。与训练阶段相比，推理阶段的内存需求通常较低，这主要得益于以下两个关键因素。
首先，推理过程通常处理较短的输入序列。在实际应用中，用户输入的文本长度往往是有限的，不像训练数据可能包含大量的长文本。较短的输入序列意味着需要较少的内存来存储与这些较小文本块相关的激活数据。例如，在一个简单的文本分类任务中，用户输入的可能只是一句话或一段简短的描述，模型只需处理这一小段文本的激活信息，而无需像训练时那样处理大量长文本的复杂激活。
其次，在推理过程中不存在反向传播。反向传播是训练过程中用于调整模型参数的关键技术，它需要保留大量的中间值来计算梯度。而在推理阶段，模型的参数已经固定，不需要进行参数更新，因此也就无需保留这些用于反向传播的中间值，这大大减少了内存的开销。
以一个7B的模型为例，在推理阶段，若使用浮点精度（如Float格式），大约需要28GB内存；使用BF16精度时，内存需求降至14GB；采用int8精度，仅需7GB内存。这种粗略的估计方式同样适用于其他参数规模和类型的模型，为在推理阶段根据硬件资源和性能需求选择合适的模型精度提供了参考。
需要注意的是，当根据特定任务对LLM进行微调时，情况有所不同。微调需要更高的内存占用，因为微调通常涉及更长的训练序列，以捕捉目标任务的细微差别。随着LLM处理更多的文本数据，会产生更大的激活数据。同时，反向传播过程需要存储用于梯度计算的中间值，这些中间值用于在训练期间更新模型的权重，这与推理阶段相比，显著增加了内存负担。
3.3基于Transformer的大模型的内存估算
对于基于Transformer的大模型，其内存需求的估算可以通过更为详细的数学模型来实现。在这类模型中，有几个关键的参数需要考虑：transformer的层数（设为l）、attention的head数量（设为a）、批次大小（设为b）、序列长度（设为s）、隐藏层的维度大小（设为h）以及精度（设为p）。其中，bshp=b*s*h*p代表了输入数据量的大小。
在transformer的线性层部分，为了后续的激活操作，大约需要9bshp+bsh的空间。这是因为线性层的计算过程涉及到矩阵乘法和加法运算，这些运算产生的中间结果和最终的激活数据需要占用一定的内存空间。
在attention部分，self-attention的计算可以表达为softmax((XQ)(XK)^T)XV。其中，XQ、XK、XV均需bshp大小的空间来存储。在标准self-attention中，乘法(XQ)*(XK)^T的结果是一个包含logit的b*s*s矩阵。但在实际应用中，由于采用了多头注意力机制，需要为每个头都建立一个单独的s*s存储空间，这就意味着需要abssp字节的空间来存储这些中间结果。同时，存储softmax的输出也同样需要abssp字节的空间。在softmax之后，通常还需要额外的abss字节来存储掩码，用于控制注意力的范围。因此，attention部分总共需要2abssp+abss的存储空间。
此外，transformer中还包含两个Normlayer，每个Normlayer需要bshp的存储空间，总共需要2bshp的空间。
综合以上各部分，基于Transformer的大模型训练所需内存大约为L(9bshp+bsh+2abssp+abss+2bshp)=Lbshp(16+2/p+(as/h)(2+1/p))。这一公式可以理解为：训练基于Transformer的大模型所需内存大约是模型的层数x训练批次的大小x序列长度x隐藏层的维度x精度x一个大于16的整数。这个公式为基于Transformer的大模型在训练时的内存需求提供了一个理论下界，帮助研究人员和工程师在进行模型训练前，更准确地评估所需的内存资源，以便合理配置硬件环境。
四、大模型参数对GPU的需求
4.1GPU数量估算公式
在实际的大模型训练和推理过程中，准确估算所需的GPU数量对于合理配置硬件资源、提高计算效率和降低成本至关重要。由于GPU数量的估算涉及多个复杂的参数，为了在工程实践中提供一种相对简便且具有一定参考价值的方法，Dr.WalidSoula提出了一个粗略估算的简单公式。
该公式为：GPU数量≈GPU显存(GB)/(Params(B)×18×1.25)。其中，Params(B)是以B为单位的模型参数数量，18是训练期间不同组件的内存占用因子，它综合考虑了模型参数、梯度、优化器状态以及在训练过程中其他相关数据结构的内存占用情况。1.25代表了激活过程所需的内存数量因子，激活过程是随着模型处理输入数据而动态变化的数据结构，其内存需求在整个训练过程中占据重要部分。
以常见的RTX4090显卡为例，其拥有24GB的显存。若使用该显卡来训练Llama3-7B模型（参数数量为7B），根据上述公式可计算所需的GPU数量为：24/(7×18×1.25)≈7台。这一计算结果表明，在使用特定显卡训练特定参数规模的模型时，通过该公式能够快速估算出大致所需的GPU数量，为工程实践中的硬件采购和资源配置提供重要的参考依据。
4.2分布式训练中的GPU资源管理
随着大模型参数规模的不断增大，单机训练往往无法满足计算需求，分布式训练成为必然选择。在分布式训练中，如何高效地管理GPU资源是一个关键问题。
在分布式训练环境中，多个GPU协同工作，需要解决通信效率、负载均衡和容错等多个挑战。通信效率的优化对于减少训练时间至关重要。由于不同GPU之间需要频繁交换数据，如梯度信息等，采用梯度压缩和累积技术可以有效减少数据传输量。梯度压缩技术通过对梯度数据进行压缩编码，减少其在网络传输中的大小，从而加快传输速度。梯度累积则是在多个训练步骤中累积梯度，然后再进行一次参数更新，减少了参数更新的频率，从而降低了通信开销。
负载均衡也是一个重要方面。不同的模型层和训练任务可能对GPU的计算资源需求不同，如果负载不均衡，可能导致部分GPU闲置，而部分GPU过度繁忙，从而降低整体训练效率。通过动态批次调节技术，可以根据每个GPU的负载情况，实时调整分配给它的训练批次大小，使各个GPU的计算资源得到充分且均衡的利用。
容错机制在分布式训练中同样不可或缺。由于训练过程中可能会出现硬件故障、网络中断等意外情况，若没有有效的容错机制，可能导致训练中断，需要从头开始。检查点恢复策略是一种常用的容错方法，它定期保存模型的参数和训练状态，当出现故障时，可以从最近的检查点恢复训练，而无需重新开始整个训练过程，大大提高了训练的稳定性和可靠性。
资源调度优化涉及CPU-GPU的协同工作。CPU在分布式训练中负责任务调度、数据加载和预处理等工作，而GPU主要负责模型的计算。合理地分配CPU和GPU的任务，确保两者之间的协同高效，能够充分发挥整个计算系统的性能。例如，通过优化数据加载流程，使CPU能够提前准备好数据，当GPU完成当前计算任务时，能够立即获取新的数据进行计算，避免GPU等待数据的时间浪费。
五、大模型参数的优化与压缩技术
5.1量化技术
量化技术是大模型参数优化与压缩的重要手段之一，其核心思想是通过减少参数存储所需的比特数，来降低计算开销和存储需求。在传统的深度学习模型中，参数通常以32位浮点数（FP32）的形式存储，这种格式虽然能够提供较高的精度，但占用了大量的存储空间和计算资源。随着技术的发展，研究人员逐渐探索采用更低精度的表示方法。
将参数从FP32降至16位浮点数（FP16）或8位整数（INT8）是常见的量化方式。FP16格式在保持一定精度的前提下，将参数存储所需的空间减少了一半，能够在许多场景中有效地降低内存需求，提高计算效率。而INT8格式则进一步压缩了存储空间，每个参数仅占用1字节，虽然在一定程度上牺牲了精度，但在一些对精度要求不是特别严格的任务中，如某些图像识别和自然语言处理的基础任务，仍然能够保持较好的模型性能。例如，在一些大规模的图像分类任务中，使用INT8量化的模型在准确率上与FP32模型相比，差距在可接受范围内，同时却大幅减少了存储需求和计算时间。
近年来，4位整数（INT4）甚至2位整数（INT2）的量化技术也在不断发展。这些更低精度的量化格式能够进一步减少存储空间，但对模型的精度影响也更大。为了在降低精度的同时保持模型性能，研究人员采用了多种优化策略，如自适应量化、对称量化和非对称量化等。自适应量化根据参数的分布特点动态调整量化的步长，能够更好地保留参数的重要信息；对称量化和非对称量化则分别针对不同类型的参数分布进行优化，提高量化的准确性。
5.2剪枝技术
剪枝技术旨在移除对模型贡献较小的参数，从而减少模型的计算需求和存储占用。在大模型中，存在许多对模型最终输出影响较小的参数，这些参数就像冗余的“枝叶”，虽然在模型构建初期被纳入，但在实际运行中可以被安全地剪掉。
剪枝技术主要分为非结构化剪枝和结构化剪枝两类。非结构化剪枝是直接在模型的参数矩阵中移除那些数值较小的连接权重，这种方式能够最大程度地减少参数数量，但由于其破坏了参数矩阵的结构，在实际应用中可能需要特殊的硬件支持才能充分发挥其优势。例如，在一些专门设计用于稀疏计算的硬件平台上，非结构化剪枝后的模型可以实现高效的计算。
结构化剪枝则是在更高的结构层次上进行参数移除，如移除整个神经元或卷积核。这种方式虽然在减少参数数量方面的效果可能不如非结构化剪枝，但它保留了模型的结构完整性，使得在常规计算硬件上也能顺利运行。结构化剪枝在一些实际应用中取得了良好效果，如在图像识别任务中，通过移除部分卷积核，可以在不显著影响模型识别准确率的前提下，减少计算量和存储需求。在自然语言处理任务中，移除一些对整体语义理解贡献较小的神经元，能够使模型在保持语言理解和生成能力的同时，提升运行效率。
5.3知识蒸馏技术
知识蒸馏技术的核心思想是将一个复杂的大模型（通常称为教师模型）所学到的知识，迁移到一个较小的模型（称为学生模型）中。教师模型由于其庞大的参数和复杂的结构，能够学习到数据中丰富而详细的特征和模式，但在实际应用中，其计算成本和存储需求较高。学生模型则相对简单，计算效率高，但在性能上可能不如教师模型。
在知识蒸馏过程中，教师模型会为学生模型提供指导。具体来说，教师模型对输入数据的输出结果（通常是概率分布）包含了丰富的信息，这些信息不仅仅是关于正确答案的，还包括了模型对不同类别之间关系的理解。学生模型通过模仿教师模型的输出，学习到这些隐藏在概率分布中的知识。例如，在文本分类任务中，教师模型可能对某个文本在多个类别上的概率分布有一个较为平滑的预测，学生模型通过学习这种概率分布，能够更好地理解文本与各个类别的相关性，从而提高自身在该任务上的性能。
知识蒸馏技术可以显著提高学生模型的性能，使其在某些任务上接近甚至超越教师模型的表现。在一些自然语言处理的下游任务中，如情感分析、文本摘要等，经过知识蒸馏的学生模型能够在较小的参数规模下，达到与大模型相当的准确率。同时，由于学生模型的计算量和存储需求大幅降低，使得在资源有限的环境中，如移动设备、边缘计算设备等，也能够高效地部署自然语言处理应用，为用户提供实时的服务。
5.4低秩分解技术
低秩分解技术是一种通过对模型的参数矩阵进行分解，以降低模型复杂度的方法。在大模型中，许多参数矩阵往往具有较高的秩，这意味着矩阵中存在大量的冗余信息。低秩分解技术的目标就是找到这些矩阵的低秩近似，用更简洁的形式来表示模型参数，从而减少计算量和存储需求。
以奇异值分解（SVD）为例，它是一种常用的低秩分解方法。对于一个给定的矩阵A，SVD可以将其分解为三个矩阵的乘积，即A=UΣV^T，其中U和V是正交矩阵，Σ是对角矩阵，对角线上的元素称为奇异值。通过保留较大的奇异值，而舍弃较小的奇异值，可以得到矩阵A的一个低秩近似。在实际应用中，这种低秩近似能够在一定程度上保留矩阵的主要信息，同时显著减少矩阵的存储空间和计算复杂度。
在神经网络中，低秩分解技术可以应用于权重矩阵。例如，在全连接层中，通过对权重矩阵进行低秩分解，可以将一个大型的权重矩阵分解为多个较小的矩阵。这些较小的矩阵在存储和计算时所需的资源更少，并且在一些情况下，能够提高模型的训练速度和泛化能力。低秩分解技术在图像生成模型中也有广泛应用，通过对卷积层的权重矩阵进行低秩分解，可以减少模型的参数量，同时保持图像生成的质量。在一些高分辨率图像生成任务中，采用低秩分解技术后的模型能够在减少计算资源消耗的情况下，生成与原始模型质量相当的图像。
六、结论
大模型的参数在模型的构建、训练和推理过程中起着核心作用。从参数的类型、存储格式到其对内存和GPU资源的需求，以及相关的优化技术，每一个环节都对大模型的性能和应用产生着深远影响。参数规模的不断增大既提升了模型的表达能力，也带来了资源需求的挑战。通过量化、剪枝、知识蒸馏和低秩分解等优化技术，可以在一定程度上缓解这些挑战，实现模型性能与资源消耗之间的平衡。
在未来的研究中，随着硬件技术的不断发展和算法的持续创新，大模型参数相关的研究将不断深入。一方面，需要进一步探索更高效的参数优化和压缩技术，以适应不断增长的模型规模和复杂任务的需求；另一方面，要加强对模型参数与模型性能、泛化能力之间内在关系的理解，为模型的设计和改进提供更坚实的理论基础。此外，在实际应用中，还需综合考虑不同场景下的资源限制和性能要求，灵活选择和组合各种技术，推动大模型在更多领域的广泛应用和发展。
转载本文请联系原作者获取授权，同时请注明本文来自陈金友科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3525898-1492557.html?mobile=1
收藏
