什么是温度参数?
温度参数(Temperature)是大模型中的一个重要参数,用于控制模型输出的随机性和创造性。它影响模型在生成每个 token 时的概率分布——温度越高,模型越倾向于选择概率较低的词,输出更多样化;温度越低,模型越倾向于选择概率最高的词,输出更确定。
温度参数的不同取值
Temperature = 0:完全确定性的输出,每次生成相同输入得到相同结果。模型总是选择概率最高的 token。适合翻译、事实问答、代码生成等需要精确的场景。
Temperature = 0.3-0.5:低随机性,输出基本确定但略有变化。适合客服回复、邮件撰写、文档摘要等专业场景。
Temperature = 0.7-0.9:中等随机性,输出有创意但仍在可控范围内。适合创意写作、营销文案、头脑风暴。
Temperature = 1.0+:高随机性,输出多样且不可预测。适合诗歌创作、故事生成、广告语创意等需要高度创新的场景。
Temperature 与 Top-P 的关系
Temperature 和 Top-P 是两种不同的采样策略,可以同时使用。通常建议先调整 Temperature,如果效果不理想再配合 Top-P。两者的核心区别在于:Temperature 控制概率分布的"形状",Top-P 控制候选 token 的"范围"。
实际使用建议
对于大多数应用场景,建议从 Temperature=0.7 开始尝试,根据输出效果逐步调整。如果输出过于重复或死板,适当调高温度;如果输出过于发散或奇怪,适当调低温度。