大模型强化学习 GRPO 与 R1 训练方法 — 深度调研报告

调研领域：大模型强化学习 / Reasoning RL 调研日期：2026-05-05 核心关键词：GRPO、DeepSeek-R1、RLVR、Group Relative Policy Optimization、Reasoning Model

目录

1. 概念剖析
2. 行业情报
3. 方案对比
4. 精华整合

一、概念剖析

1.1 定义澄清

通行定义：GRPO（Group Relative Policy Optimization，群体相对策略优化）是一种无批评器（Critic-free）的强化学习算法，由 DeepSeek 团队在 DeepSeekMath 论文（Shao et al., 2024）中首次提出。其核心思想是对每个 prompt 采样 G 条输出轨迹，利用组内奖励的均值和标准差归一化来估计优势函数，从而替代 PPO 中需要独立训练的价值网络（Critic）。GRPO 是 DeepSeek-R1 / R1-Zero 训练管线的核心算法，也是当前大模型推理能力强化训练的主流方案。

常见误解：

1. GRPO 是纯粹 On-Policy 算法 —— 实际上，ICLR 2026 的论文《Group-Relative REINFORCE Is Secretly an Off-Policy Algorithm》通过数学推导证明，GRPO 具有天然的 Off-Policy 解释，重要性采样和裁剪扮演了关键角色。
2. R1 的"顿悟时刻"（Aha Moment）是纯 RL 创造的涌现行为 —— 2025 年 Sea AI Lab 的研究发现，DeepSeek-V3-Base 在 RL 训练前已经存在自我反思关键词（"wait"、"verify"），RL 只是放大了已有模式而非创造了新能力。
3. GRPO 等价于去掉 Critic 的 PPO —— 两者虽然共享裁剪目标函数，但 GRPO 用组内统计量替代价值函数，训练动态和收敛特性有本质差异，且 GRPO 更适合规则奖励场景。

边界辨析：

1.2 核心架构

┌──────────────────────────────────────────────────────────┐
│                GRPO 训练系统架构                           │
├──────────────────────────────────────────────────────────┤
│                                                          │
│  Prompt q ──→ [策略网络 π_θ] ──→ 采样 G 条响应 {o_i}     │
│                   │                    │                  │
│                   │                    ▼                  │
│                   │           [奖励函数 R(o_i)]            │
│                   │                    │                  │
│                   │                    ▼                  │
│                   │           [组内归一化]                  │
│                   │      Â_i = (r_i - μ)/σ               │
│                   │                    │                  │
│                   ▼                    ▼                  │
│           ┌──────────────────────────────────┐            │
│           │  GRPO 损失函数（最大化）：         │            │
│           │  L = L_clip + β·KL(π_θ∥π_ref)    │            │
│           └──────────────────────────────────┘            │
│                    │                                      │
│                    ▼                                      │
│           [策略梯度更新 π_θ]                               │
│                                                          │
│  辅助组件：                                               │
│  · Reference 模型 π_ref — 冻结的基座，约束 KL 散度         │
│  · vLLM — 高效推理采样引擎                                 │
│  · DeepSpeed — 分布式训练框架                             │
└──────────────────────────────────────────────────────────┘

组件职责：

1.3 数学形式化

公式 1：GRPO 完整目标函数

其中 $r_{i,t}(\theta) = \frac{\pi_{\theta}(o_{i,t}|q, o_{i,<t})}{\pi_{\theta_{\text{old}}}(o_{i,t}|q, o_{i,<t})}$ 为重要性采样比。裁剪机制防止单步更新过大。

公式 2：组内相对优势函数

核心创新：用组内规范化替代价值函数。当响应优于组平均水平时 $\hat{A}_i > 0$，策略增加其概率；反之则降低。

公式 3：KL 散度估计（无偏 K3 估计器）

采用无偏非负估计量，避免简单对数比估计可能为负的问题，确保 KL 惩罚始终为正。

公式 4：GRPO 简化版——单步更新梯度

当每批只做一次梯度更新时（$\pi_{\theta} = \pi_{\theta_{\text{old}}}$），目标简化为：

这等价于：对正优势响应增大概率、对负优势响应减小概率，同时受 KL 约束。

1.4 实现逻辑（Python 伪代码）

class GRPOTrainer:
    """GRPO 训练器核心抽象，体现去 Critic 的组内相对优势训练范式"""

    def __init__(self, actor: nn.Module, ref_model: nn.Module,
                 reward_fn: callable, group_size: int = 8,
                 clip_eps: float = 0.2, kl_beta: float = 0.04):
        self.actor = actor           # 待训练的策略网络 π_θ
        self.ref_model = ref_model   # 冻结的参考模型 π_ref，用于 KL 约束
        self.reward_fn = reward_fn   # 规则奖励函数（如答案匹配、格式校验）
        self.G = group_size          # 每 prompt 采样数，典型值 8~64
        self.eps = clip_eps          # PPO 裁剪阈值
        self.beta = kl_beta          # KL 惩罚系数

    def train_step(self, prompts: List[str]) -> dict:
        """单步 GRPO 训练"""
        # 阶段 1：Rollout —— 采样 G 条响应
        all_responses = []
        for prompt in prompts:
            responses = self.actor.generate(
                prompt, num_return_sequences=self.G)
            all_responses.extend(responses)

        # 阶段 2：评分 —— 计算每条响应的奖励
        rewards = [self.reward_fn(p, r)
                   for p, r in zip(prompts, all_responses)]

        # 阶段 3：计算组内优势
        advantages = []
        for i in range(0, len(rewards), self.G):
            group_rewards = rewards[i:i+self.G]
            mu, sigma = np.mean(group_rewards), np.std(group_rewards)
            group_adv = [(r - mu) / (sigma + 1e-8)
                         for r in group_rewards]
            advantages.extend(group_adv)

        # 阶段 4：计算 GRPO 损失
        policy_loss = self._compute_clipped_loss(
            all_responses, advantages)
        kl_loss = self._compute_kl_penalty(all_responses)
        total_loss = policy_loss + self.beta * kl_loss

        # 阶段 5：反向传播
        total_loss.backward()
        self.optimizer.step()
        return {"loss": total_loss.item(), "avg_reward": np.mean(rewards)}

    def _compute_clipped_loss(self, responses, advantages):
        """裁剪代理目标"""
        log_ratios = self.actor.log_probs(responses) \
                     - self.old_actor.log_probs(responses)
        ratios = torch.exp(log_ratios)
        clipped = torch.clamp(ratios, 1-self.eps, 1+self.eps)
        return -torch.mean(torch.min(ratios * advantages,
                                     clipped * advantages))

1.5 性能指标

1.6 扩展性与安全性

水平扩展：

• GRPO 训练天然适配数据并行和模型并行策略。每个 prompt 的 G 条采样可独立分配至不同 GPU，通过 all-reduce 同步组内统计量
• vLLM 作为推理引擎支持大规模 rollout 采样，结合 DeepSpeed ZeRO 实现分布式梯度同步
• 典型扩展方案：256~2048 GPU，group size 随 GPU 数量线性扩展

垂直扩展：

• 单节点优化上限受限于模型大小和 batch size。去掉 Critic 后，单 A100 80GB 可训练的模型规模约为 PPO 的 1.5~2 倍
• KV cache 优化（PagedAttention、FlashAttention）可提升 rollout 吞吐
• 梯度 checkpoint、混合精度训练（bf16/fp8）进一步压榨单卡性能

安全考量：

• 奖励劫持（Reward Hacking）：模型可能利用规则漏洞获取高奖励（如输出格式正确但答案错），需设计防破解奖励函数
• 语言混杂：R1-Zero 训练中出现中英文混杂问题，R1 通过语言一致性奖励缓解
• 过度思考（Overthinking）：模型对简单问题也生成冗长推理链，增加推理成本，需引入长度惩罚
• 有害内容：纯 RL 训练可能放大模型已有偏见，R1 第四阶段通过 10.6 万条安全数据集做对齐 RL

二、行业情报

2.1 GitHub 热门项目

2.2 关键论文

经典高影响力论文（奠基性工作，约 40%）

最新 SOTA 论文（前沿进展，约 60%）

2.3 系统化技术博客

2.4 技术演进时间线

2024.02 ── DeepSeek 发布 DeepSeekMath 论文，首次提出 GRPO 算法
             │ 影响：开辟无 Critic 的 LLM 强化学习新范式，显存降低 40%+
             │
2025.01 ── DeepSeek-R1 发布（22页预印本），纯 RL 训练达到 o1 水平
             │ 影响："顿悟时刻"引发全球关注，GRPO 成为业界焦点
             │
2025.01 ── Hugging Face 启动 Open-R1 开源复现项目
             │ 影响：推动 GRPO 训练的民主化和可复现性
             │
2025.03 ── 字节跳动发布 DAPO，非对称 Clip + 动态采样
             │ 影响：训练效率翻倍，GRPO 变种开始涌现
             │
2025.03 ── Sea AI Lab 发表《Understanding R1-Zero-Like Training》
             │ 影响：揭示 GRPO 长度/难度偏差，提出 Dr. GRPO 修正方案
             │
2025.07 ── 通义千问发布 GSPO，序列级 Importance Ratio
             │ 影响：从根本上解决 MoE 模型训练不稳定问题
             │
2025.09 ── DeepSeek-R1 论文登上 Nature 封面
             │ 影响：首个通过顶级期刊同行评审的主流大模型
             │
2026.01 ── DeepSeek 更新 R1 论文至 86 页，公开四阶段完整管线
             │ 影响：训练方法完全透明化，附三中间检查点细节
             │
2026.05 ── 当前状态：
            GRPO 成为推理 RL 事实标准，沿 Token 级（DAPO）和序列级（GSPO）
            两条路线演进。2026 年基调：从"能用"到"稳定高效"的工程成熟阶段

三、方案对比

3.1 历史发展时间线

2017 ── PPO（OpenAI）── 提出裁剪代理目标 + Critic 网络，RLHF 训练基石
2023 ── DPO（Stanford）── 绕过 RL，直接在偏好对上优化，无需奖励模型
2024.02 ── GRPO（DeepSeek）── 去掉 Critic，组内相对优势，显存减半
2025.03 ── DAPO（字节跳动）── 非对称 Clip + 动态采样 + Token 级 Loss + 超长惩罚
2025.07 ── DUPO（通义千问）── 重复采样 + 2~3x 训练加速，优化 Web Agent 场景
2025.07 ── GSPO（通义千问）── 序列级 Importance Ratio，MoE 稳定性突破
2025.08 ── MEML-GRPO（多专家互学习）── 提升知识多样性，跨模型迁移
2025.10 ── Noise-corrected GRPO ── 针对噪声奖励场景的无偏梯度估计
2026.01 ── E-GRPO（清华）── 熵感知 GRPO，扩展至视觉生成 RL
2026.05 ── 当前状态：去 Critic 已成共识，GSPO 被视为"范式级创新"，有望成为新一代标准

3.2 五种方案横向对比

3.3 技术细节对比

3.4 选型建议

四、精华整合

4.1 The One 公式

4.2 一句话解释

GRPO 是一种让大模型通过"内部考试竞争"来提升推理能力的方法：对一个题目生成多份答卷，用相互比较（而不是外部裁判）算出每份答卷的相对优劣，然后让模型多学习优秀答卷的思路、少学差答卷的错误模式。

4.3 核心架构图

Prompt q
   │
   ▼
┌──────────────────┐
│  Policy π_θ      │── 采样 G 条响应 {o₁, o₂, ..., o_G}
│  (主模型)         │
└──────────────────┘
   │
   ▼
┌──────────────────┐
│  Reward R(o_i)   │── 规则评分（答案对错/格式）
└──────────────────┘
   │
   ▼
┌───────────────────────────┐
│  组内归一化 Âᵢ = (rᵢ-μ)/σ │── 相对优势（好于平均 → 奖，差于平均 → 罚）
└───────────────────────────┘
   │
   ▼
┌───────────────────────────────────────┐
│  GRPO Loss                            │
│  = clipped_surrogate + β·KL(π∥π_ref)  │── 更新策略
└───────────────────────────────────────┘
   │
   ▼
输出：推理能力增强的策略网络 π_θ_new

4.4 STAR 总结

4.5 理解确认问题

Q：GRPO 去掉 Critic 网络后，用什么机制来估计优势函数？这个机制在什么情况下会失效？

A：GRPO 用"组内相对比较"替代 Critic 网络。具体来说：对每个 prompt 采样 G 条响应，计算每条响应的奖励 r_i，然后以组内均值 μ 为基线、组内标准差 σ 为归一化因子，计算相对优势 Â_i = (r_i - μ)/σ。这本质上是在问"这条响应比组内平均水平好多少？"

失效场景（三种典型情况）：

1. 全组都错（all-negative group）：所有 G 条响应都得到最低奖励，组内无区分度，标准差为零或极小，无法提供有效学习信号（LENS / 频谱策略优化等方案尝试解决此问题）。
2. 全组都对：同样缺乏对比信息，模型无法从"都是正确的答案中"学会区分优劣。
3. Group size 过小（如 G=2）：统计量不稳定，优势估计方差大，训练容易崩溃——实践中通常需要 G≥8。

数据说明：本报告中的 GitHub Stars 数据、论文信息、性能指标等均来源于 2025-2026 年的公开信息。Stars 数量为截至搜索时刻的近似值，可能随时间变化。建议读者参考原始链接获取最新数据。

Sources:

• DeepSeek-R1 GitHub (90K+ stars)
• Open-R1 Hugging Face (38K+ stars)
• DeepSeekMath: GRPO 原始论文
• DeepSeek-R1 论文
• DAPO 论文
• GSPO 论文
• Understanding R1-Zero (Dr. GRPO)
• GRPO 官方推导 (Hugging Face Course)
• GRPO vs PPO vs DPO 实验对比 (HPC-AI)
• GRPO, DAPO, DUPO, GSPO 对比 (腾讯云)
• DeepSeek R1 四阶段训练 (腾讯云)
• RE-GRPO 论文 (Neurocomputing)
• P-GRPO (Apple ML Research)
• ICLR 2026 Off-Policy GRPO
• Post-Training in 2026