📖
Top-P采样
基础概念
一句话概括
核采样参数,从累计概率达到p的最小token集合中采样输出。
详细解析
Top-P采样(又称nucleus sampling,核采样)是一种动态截断采样策略。模型在每一步生成时,将候选token按概率从高到低排序,累加概率直到达到阈值p(如0.9),仅从这个最小集合中按概率重新归一化采样。
与固定选top-k个不同,top-p的候选集大小是动态的:当模型很确定时(一个token概率就超过p),候选集可能只有1个;当模型不确定时(概率分散),候选集会扩大。这种自适应性能在保持生成质量的同时引入合理多样性。
常见配置为top_p=0.9-1.0。它通常与temperature配合:先用温度调节分布形状,再用top_p截断长尾。OpenAI等厂商建议二选一调整,不要同时大幅改动。