什么是 P-Tuning?
P-Tuning(提示调优)是一种参数高效微调方法,由清华大学的团队提出。它的核心思想是:不在输入层写自然语言的提示词,而是在模型的输入嵌入层添加一些可训练的"虚拟 token"(软提示),通过优化这些虚拟 token 的嵌入向量来引导模型完成特定任务。
传统提示词 vs P-Tuning
传统提示词是用自然语言写的硬编码文本(如"请将以下内容翻译成英文"),由人类设计。P-Tuning 的"提示"是连续向量,由模型自动学习最优的提示表示,不受自然语言的限制,可能找到人类想不到的更好的提示方式。
P-Tuning 的变体
Prompt Tuning:只在输入层添加软提示,冻结整个模型,非常轻量。
P-Tuning v2:在每一层都添加可学习的提示,效果更好,接近全量微调。
Prefix Tuning:在 Transformer 的每一层注意力模块前添加可学习的前缀向量。
P-Tuning 的优势
P-Tuning 比 LoRA 更轻量(需要训练的参数更少),适合需要在同一个基座模型上快速切换多个任务的场景。但它在效果上通常不如 LoRA,尤其是当任务与预训练任务差异较大时。