Token（词元）

换成大白话

Token是大语言模型处理和生成文本的基本单位。它不等于"词"或"字"，而是介于两者之间的子词单元，由分词器（Tokenizer）根据BPE、WordPiece等算法切分得到。例如"chatting"可能被切分为"chat"+"ting"两个token，而中文一个字通常对应1-2个token。 模型按token计费、按token计量上下文。输入token（prompt tokens）和输出token（completion tokens）共同决定一次调用的成本和延迟。理解token的切分方式有助于优化提示词长度、控制成本。 主流厂商均以每百万token为单位报价（如$3/1M input tokens）。掌握token概念是评估模型性价比、设计高效提示工程的基础。

它通常在什么场景出现

这个术语常见于模型选择、训练与微调、推理与部署、评测或产品功能说明等场景；当你遇到“Token（词元）”时，多半是在讨论模型行为、处理方式或指标口径。

具体出现在哪类场景，可以用下方“跨库查找”搜索包含该概念的模型、训练、评测或产品资料。

容易混淆的地方

不要把“Token（词元）”理解成模型本身的能力或在某个榜单上的具体名次；它更多是描述一种机制、一种处理方式或一个指标口径，而不是模型实力的绝对结论。