首页/问答百科/P-Tuning(提示调优)
🔧 技术与方法

P-Tuning(提示调优)

P-TuningPrompt Tuning提示调优连续提示

P-Tuning(提示调优)是一种参数高效微调方法,通过在输入层添加可学习的"软提示"向量来引导模型行为,只训练少量提示参数而保持模型主体不变,比 LoRA 更轻量,适合大模型的快速适配。


什么是 P-Tuning?

P-Tuning(提示调优)是一种参数高效微调方法,由清华大学的团队提出。它的核心思想是:不在输入层写自然语言的提示词,而是在模型的输入嵌入层添加一些可训练的"虚拟 token"(软提示),通过优化这些虚拟 token 的嵌入向量来引导模型完成特定任务。

传统提示词 vs P-Tuning

传统提示词是用自然语言写的硬编码文本(如"请将以下内容翻译成英文"),由人类设计。P-Tuning 的"提示"是连续向量,由模型自动学习最优的提示表示,不受自然语言的限制,可能找到人类想不到的更好的提示方式。

P-Tuning 的变体

Prompt Tuning:只在输入层添加软提示,冻结整个模型,非常轻量。

P-Tuning v2:在每一层都添加可学习的提示,效果更好,接近全量微调。

Prefix Tuning:在 Transformer 的每一层注意力模块前添加可学习的前缀向量。

P-Tuning 的优势

P-Tuning 比 LoRA 更轻量(需要训练的参数更少),适合需要在同一个基座模型上快速切换多个任务的场景。但它在效果上通常不如 LoRA,尤其是当任务与预训练任务差异较大时。


相关术语

分享: