Logprobs 是什么?
Logprobs 是"对数概率"(Log Probability)的缩写,指大模型在生成每个 token 时,对该 token 的概率取自然对数后的值。大部分主流模型的 API(OpenAI、Anthropic 等)都支持返回 logprobs 数据。
Logprobs 能告诉我们什么?
置信度评估:logprobs 值越接近 0(概率越高),说明模型对这个 token 的选择"越有把握"。如果多个候选 token 的 logprobs 值很接近,说明模型在犹疑——这种情况下生成的答案可靠性可能较低。
不确定性检测:当模型在关键决策点上的 logprobs 值很低(概率分散)时,可以判断模型可能在"编造"(幻觉)——这是构建可靠 AI 系统的重要信号。
输出质量度量:通过分析整个回答的平均 logprobs,可以量化评估模型对回答的确信程度,作为输出质量的辅助指标。
实际应用
在 AI 应用开发中,logprobs 可以用于:自动检测模型不确定性,触发补充检索或要求模型重新回答;评估 RAG 系统的检索质量——如果模型在引用知识点时 logprobs 较高,说明检索到的信息与问题匹配度好;流式输出的置信度提示,向用户展示模型对当前回答的把握程度。