什么是 Top-P？
Top-P（也称为核采样，Nucleus Sampling）是一种文本生成的采样策略。它控制模型在生成下一个词时，只从累积概率达到 P 值的最小候选词集合中选择。例如，P=0.9 时，模型会按概率从高到低排列所有候选词，然后只保留累积概率达到 90% 的那些词，忽略概率极低的长尾词。
Top-P vs Temperature
Temperature 控制概率分布的"形状"——通过缩放所有候选词的概率来调整整体的随机性。
Top-P 控制候选词的"范围"——动态决定保留多少个候选词。
两者可以同时使用。通常建议先调整 Temperature，如果效果不理想再配合 Top-P。
Top-P 的典型取值
- ·P=0.1：只保留概率最高的少数词，输出非常确定。适合事实问答、翻译。
- ·P=0.5：保留约一半的候选词，平衡确定性和多样性。
- ·P=0.9：保留大部分候选词，输出多样且有创意。适合写作、头脑风暴。
- ·P=1.0：保留所有候选词，等同于不限制。
实际使用建议
一个常用的组合是：Temperature=0.7，Top-P=0.9。对于大多数任务，这个组合在创造性和可控性之间取得了良好的平衡。如果追求确定性，可以降低 Temperature 和 Top-P；如果追求创意，可以适当提高。