首页/AI 百科词条/RLVR（基于规则验证的强化学习）

🔧 技术与方法

RLVR（基于规则验证的强化学习）

RLVR基于规则验证的强化学习强化学习规则验证RL with Verifiable Rewards规则奖励

RLVR（Reinforcement Learning with Verifiable Rewards）是一种使用可自动验证的规则（如数学答案是否正确、代码能否编译通过）作为奖励信号的强化学习方法，是 DeepSeek-R1 等推理模型训练的核心技术。

什么是 RLVR？

RLVR（Reinforcement Learning with Verifiable Rewards，基于规则验证的强化学习）是一种将客观、可自动验证的规则作为强化学习奖励信号的方法。与 RLHF 依赖人类主观偏好不同，RLVR 的奖励信号来自可程序化验证的规则——数学题答案是否正确、代码能否编译运行、SQL 查询是否返回正确结果等。

RLVR 的工作方式

在训练推理模型时，让模型生成解答步骤和最终答案，然后用自动验证器检查答案是否正确（如数学答案是否匹配标准答案、代码测试是否通过）。验证结果（正确/错误）作为强化学习的奖励信号，优化模型的推理能力。

RLVR 的优势

零主观偏差：奖励信号完全客观，不受人类标注员主观偏好的影响。可规模化：自动验证可以无限扩展，不受人工标注产能限制。训练效率高：验证过程是即时自动的，无需等待人工标注。推理能力强化：RLVR 特别适合强化数学、编程、逻辑推理等有明确"正确答案"的能力。

RLVR 的应用

DeepSeek-R1 是 RLVR 最成功的应用案例——通过在大规模数学和编程题目上的 RLVR 训练，R1 的推理能力达到了媲美 OpenAI o1 的水平。RLVR 也被应用于代码生成模型的训练中（验证代码正确性）和数学竞赛模型。

相关术语

RLHF（基于人类反馈的强化学习）

RLHF（Reinforcement Learning from Human Feedback）是一种将人类偏好融入 AI 模型训练的技术，通过人类对模型输出的评分来训练奖励模型，再用强化学习优化语言模型，使模型输出更符合人类期望，ChatGPT 的核心技术之一。

DeepSeek（深度求索）

DeepSeek（深度求索）是中国 AI 公司开发的系列大语言模型，以极高的性价比和开源策略著称。DeepSeek-V3 和 DeepSeek-R1 在多个基准上媲美 GPT-4，但训练成本仅为业界同行的零头，被称为"AI 界的拼多多"。

推理模型（Reasoning Model）

推理模型（Reasoning Model）是一种能够在回答复杂问题前进行"深度思考"的大模型，通过内部思维链和强化学习显著提升数学、编程和科学推理能力。OpenAI o1/o3、DeepSeek-R1 等是代表性模型。

DPO（直接偏好优化）

DPO（Direct Preference Optimization）是一种无需强化学习的偏好对齐方法，直接利用偏好数据优化语言模型，简化了 RLHF 的训练流程。

SFT（监督微调）

SFT（Supervised Fine-Tuning，监督微调）是使用标注数据对预训练模型进行有监督训练的微调方法，是 RLHF 之前的基础训练步骤，让模型学会遵循指令和生成高质量回答的基本能力。

分享：