什么是少样本学习?
少样本学习(Few-shot Learning)是指在提示词中给大模型提供几个输入输出示例,让模型通过这些示例理解任务要求,然后处理新的输入。这是大模型在 2020 年 GPT-3 时代就展现出的强大能力——不需要重新训练,只需要几个示例就能学会新任务。
少样本学习的工作原理
当你给模型提供几个示例时,这些示例会出现在模型的上下文窗口中,模型会"看到"示例中的模式,并在处理新输入时模仿这种模式。例如,你给模型 3 个"英文→中文"的翻译示例,它就能翻译新的英文句子,即使你从来没有明确告诉它"请翻译"。
少样本 vs 零样本
零样本(Zero-shot):不给任何示例,直接下达指令。例如"请将以下英文翻译成中文"。
少样本(Few-shot):给 2-5 个示例,让模型理解模式。例如给出 3 个翻译示例后,让模型翻译第 4 句。
多样本(Many-shot):给更多示例(10 个以上),有时能接近微调的效果。
少样本学习的应用
少样本非常适合格式转换类任务(如 JSON 格式化、文本分类、命名实体识别翻译),以及那些难以用语言描述清楚的任务。它的优势在于灵活——你随时可以更换示例来改变模型的行为,无需训练。