📖
Token(词元)
基础概念
一句话概括
模型处理文本的最小单位,可以是一个词、字或子词片段。
详细解析
Token是大语言模型处理和生成文本的基本单位。它不等于"词"或"字",而是介于两者之间的子词单元,由分词器(Tokenizer)根据BPE、WordPiece等算法切分得到。例如"chatting"可能被切分为"chat"+"ting"两个token,而中文一个字通常对应1-2个token。
模型按token计费、按token计量上下文。输入token(prompt tokens)和输出token(completion tokens)共同决定一次调用的成本和延迟。理解token的切分方式有助于优化提示词长度、控制成本。
主流厂商均以每百万token为单位报价(如$3/1M input tokens)。掌握token概念是评估模型性价比、设计高效提示工程的基础。