📖
Top-K采样
基础概念
一句话概括
每步只从概率最高的k个候选token中采样,过滤低质量长尾选项。
详细解析
Top-K采样是一种固定数量截断的采样策略。模型在每一步生成时,仅保留概率最高的k个候选token,将它们的概率重新归一化后采样,其余token一律排除。
k值决定了采样的"自由度":k=1等价于贪婪解码,输出完全确定;k较小(如5-10)时输出稳定可控;k较大(如50-100)时多样性增加但可能引入噪声。与top-p的动态截断不同,top-k的候选数量固定,在概率分布陡峭或平坦时表现不一致。
Top-K常与temperature、top-p组合使用。一些模型(如GPT系列)默认不暴露top_k参数,而开源模型(LLaMA、Mistral等)通常允许调整。它是控制生成多样性和质量的实用工具。