Adapter 是什么
Adapter（适配器微调）是一种参数高效微调（PEFT）方法，由 Houlsby 等人在 2019 年提出。其核心思想是在预训练模型的 Transformer 各层中插入小型"适配器模块"，微调时仅训练这些新增的参数，而冻结原始预训练权重。
工作原理
Adapter 通常采用"瓶颈"（bottleneck）架构。在 Transformer 的每一层中，Adapter 模块依次包含一个降维线性层、一个非线性激活函数和一个升维线性层，外加跳跃连接以保证训练稳定性。训练完成后，每个下游任务仅需保存一份轻量的 Adapter 权重。
与 LoRA 的关系
LoRA 和 Adapter 同属 PEFT 方法，但设计理念不同。LoRA 通过低秩矩阵分解模拟权重更新量，并行作用于注意力权重；Adapter 则在模型中串联引入新层。在实际应用中，LoRA 因其近乎零的推理额外延迟而更为流行。