首页/问答百科/自监督学习

🚀 进阶概念

自监督学习

自监督学习Self-Supervised LearningSSL自监督学习SSL自监督预训练

自监督学习（Self-Supervised Learning, SSL）是一种无需人工标注标签的机器学习方法，通过从数据自身结构构造监督信号来学习通用表示，是 GPT、BERT、CLIP 等大模型预训练的核心技术。

什么是自监督学习？

自监督学习（Self-Supervised Learning, SSL）是一种不需要人工标注数据就能训练的机器学习方法。它的核心思想是：利用数据本身的结构来生成"伪标签"——模型通过预测数据的某一部分来学习数据的深层表示。

自监督学习的工作原理

掩码语言模型：BERT 使用的方法——随机遮住句子中的一些词，让模型预测被遮住的是什么词。对比学习：让模型学会区分"相似"和"不相似"的样本对。自回归预测：GPT 使用的方法——预测序列中的下一个词。

为什么自监督学习如此重要？

互联网上存在海量的无标注数据，自监督学习让这些数据可以被利用起来。自监督学习训练出的模型学到了数据的通用特征，可以在各种下游任务上微调使用。GPT 和 BERT 的成功证明了自监督学习的巨大潜力。

相关术语

大模型（Large Language Model，LLM）是指参数规模达到数十亿甚至数千亿的深度学习模型，通过海量文本训练获得理解和生成人类语言的能力，是 ChatGPT 等 AI 产品的底层技术。

涌现能力（Emergence）是指大模型在规模扩大到某个阈值后，突然展现出小模型不具备的高级能力（如逻辑推理、代码生成、翻译等），这些能力没有被显式编程或训练，而是规模扩大后自然"涌现"出来的现象。

Scaling Law（扩展定律）

Scaling Law（扩展定律）是指大模型性能随模型规模、数据量和计算量的增加而可预测地提升的规律。简单说就是"越大越好"——参数越多、数据越多、算力越多，模型就越强，而且这种提升是可预测的。

SFT（监督微调）

SFT（Supervised Fine-Tuning，监督微调）是使用标注数据对预训练模型进行有监督训练的微调方法，是 RLHF 之前的基础训练步骤，让模型学会遵循指令和生成高质量回答的基本能力。

微调（Fine-tuning）是在预训练大模型的基础上，用特定领域的数据进一步训练，让模型适应特定任务或风格的技术。相比从零训练，微调成本低、速度快，是定制 AI 模型的常用方法。

分享：