模型参数（Parameters）是神经网络中通过训练学习到的权重和偏置数值。在大语言模型中，参数主要由嵌入层、注意力层和前馈层的权重矩阵构成，参数量通常以B（十亿）为单位，如7B、70B、405B。 参数量是衡量模型规模和能力的重要指标，通常参数越多模型能力越强，但训练和推理成本也越高。参数量与训练数据量、算力共同决定模型的"涌现能力"——某些任务在小模型上无法完成，在达到一定规模后才显现。 需要注意的是，MoE模型的"总参数量"与"激活参数量"不同，后者才是单次推理的实际计算量。此外，参数量并非决定能力的唯一因素，数据质量、架构创新、训练方法同样关键。