大模型多阶段渐进式训练策略优化

调研日期：2026-05-13 | 调研范围：2019-2026 核心工作 + 2025-2026 实时数据

第一部分：概念剖析

1.1 定义澄清

通行定义

大模型多阶段渐进式训练策略是指：在大型语言模型的训练过程中，不是一次性使用全部数据和完整模型架构进行训练，而是将训练过程划分为多个阶段，在每个阶段中逐步增加模型容量（层数/宽度）、数据难度或训练目标复杂度，从而使模型以"由易到难、由浅入深"的方式渐进地习得语言能力。其核心理念源于人类学习的"最近发展区"理论和课程学习范式。

常见误解

1. 误解：渐进式训练=课程学习。事实：课程学习仅是多阶段渐进式训练的一个子维度。完整的渐进式训练还包含模型架构的增长（如渐进式堆叠层）、训练目标的演进（如从语言建模到指令跟随）、以及训练数据的动态调整。课程学习主要关注数据顺序，而渐进式训练是规模、数据和目标的三维联动。

2. 误解：渐进式训练=继续预训练。事实：继续预训练（Continual Pretraining）是在固定架构上添加新数据训练，而渐进式训练通常伴随着模型容量的动态变化。两者解决的问题不同——继续预训练解决领域迁移，渐进式训练解决训练效率。

3. 误解：小模型训练后直接扩展=重新开始训练。事实：通过 Function-Preserving Initialization（如 bert2BERT 的 Net2Net 适配），小模型的权重可以无损地初始化为大模型的起始点，使大模型"继承"小模型已学知识，这比重头训练节省约 25%-45% 的计算量。

边界辨析

1.2 核心架构

┌──────────────────────────────────────────────────────────────┐
│              大模型多阶段渐进式训练系统架构                        │
├──────────────────────────────────────────────────────────────┤
│                                                              │
│  ┌──────┐   ┌──────────────────────┐   ┌───────────────┐     │
│  │ 数据  │ → │  多阶段训练调度器      │ → │  模型评估与    │     │
│  │ 流水线 │   │  (Stage Scheduler)   │   │  监控系统      │     │
│  └──────┘   └──────────┬───────────┘   └───────┬───────┘     │
│                         │                        │           │
│                         ▼                        ▼           │
│              ┌─────────────────────┐   ┌───────────────┐     │
│              │  阶段控制器           │   │  难度评估器    │     │
│              │  Stage 1 → Stage N  │   │  Difficulty   │     │
│              │  (渐进切换逻辑)       │   │  Estimator    │     │
│              └──────────┬──────────┘   └──────┬────────┘     │
│                         │                     │              │
│  ┌──────────────────────┴─────────────────────┴──────────┐  │
│  │                    每个训练阶段                         │  │
│  │  ┌──────────────┐  ┌──────────┐  ┌────────────────┐  │  │
│  │  │ 模型容量管理器  │  │ 数据采样器 │  │ 训练目标控制器  │  │  │
│  │  │ (添加/扩展层)  │  │ (难度采样) │  │ (损失函数切换)  │  │  │
│  │  └──────────────┘  └──────────┘  └────────────────┘  │  │
│  └─────────────────────────────────────────────────────┘  │
│                         │                                  │
│                         ▼                                  │
│              ┌─────────────────────┐                       │
│              │  基础训练引擎         │                       │
│              │  (Megatron/DeepSpeed)│                       │
│              └─────────────────────┘                       │
│                                                              │
└──────────────────────────────────────────────────────────────┘

核心组件说明：

1.3 数学形式化

1.3.1 阶段定义

设训练过程被划分为 $K$ 个阶段，第 $k$ 阶段的状态由三元组定义：

其中 $\mathcal{D}_k$ 为第 $k$ 阶段的数据分布，$\mathcal{M}_k$ 为模型架构参数，$\mathcal{L}_k$ 为损失函数。渐进式训练的约束条件为：$\mathcal{D}_k$ 的难度单调递增，$\mathcal{M}_k$ 的容量单调递增。

1.3.2 课程学习加速比

课程学习相对于随机采样的收敛加速比可以量化为：

实证研究表明（EACL 2026），在大模型预训练中课程学习可减少 18%-45% 的训练步数。当 $\eta > 1$ 时，课程学习有效，且压缩率和词汇多样性（MTLD）作为难度信号时 $\eta$ 最大。

1.3.3 模型扩展的 Function-Preserving 条件

将小模型 $\theta_{\text{small}} \in \mathbb{R}^{d_s}$ 扩展为大模型 $\theta_{\text{large}} \in \mathbb{R}^{d_l}$（$d_l > d_s$），Function-Preserving 初始化要求：

对于 Transformer 的深度扩展（从 $L$ 层到 $L+1$ 层），在第 $m$ 层后插入新层时的权重初始化为：

这确保了扩展后的模型在初始化时与扩展前行为一致，使模型可以"无缝继续训练"。

1.3.4 计算成本收益模型

渐进式训练相对于独立训练的计算成本节省率：

其中 $T_k$ 是第 $k$ 阶段的训练步数，$\text{FLOPs}(\mathcal{M})$ 是模型 $\mathcal{M}$ 的单步计算量。COLM 2025 的实证表明，当采用从小到大的渐进式训练时，$C_{\text{save}} \approx 25\%$。

1.3.5 预算衰减调度

在渐进式 RL 训练中（如 GRPO 的推理长度控制），token 预算由以下调度函数管理：

其中 $B_0$ 为初始预算，$\gamma \in (0, 1)$ 为衰减因子，$T$ 为衰减间隔，$B_{\min}$ 为最小预算。该调度使模型先探索长推理链，再逐步压缩为简洁推理。

1.4 实现逻辑（Python 伪代码）

class ProgressiveTrainer:
    """多阶段渐进式训练管理器"""

    def __init__(self, config: TrainingConfig):
        self.stages = config.stages                # 阶段定义列表
        self.current_stage = 0
        self.model = self._init_base_model(config.base_model)
        self.data_pipeline = DataPipeline(config.data_sources)
        self.difficulty_estimator = DifficultyEstimator(config.difficulty_metrics)

    def train(self):
        """执行完整的多阶段渐进式训练"""
        for stage_idx, stage_config in enumerate(self.stages):
            self.current_stage = stage_idx
            print(f"进入阶段 {stage_idx + 1}/{len(self.stages)}: {stage_config.name}")

            # 阶段前准备：模型扩展
            if stage_config.model_growth:
                self.model = self._grow_model(stage_config.model_growth)

            # 配置当前阶段的数据采样器和训练目标
            sampler = self._build_sampler(stage_config.difficulty_range)
            loss_fn = self._build_loss_fn(stage_config.training_objective)

            # 执行当前阶段训练
            for batch in self.data_pipeline.iterate(sampler, stage_config.num_steps):
                loss = self._training_step(batch, loss_fn)

                if self._should_switch_stage(stage_config.switch_criteria):
                    break

            # 阶段后处理：评估和模型保存
            self._evaluate_and_save(stage_config)

    def _grow_model(self, growth_config: GrowthConfig):
        """模型扩展（深度/宽度生长）"""
        if growth_config.mode == "depth":
            # 在中间层插入新的 Transformer 层（MIDAS 方法）
            insert_position = len(self.model.layers) // 2 if growth_config.middle_insert else -1
            new_layer = copy.deepcopy(self.model.layers[insert_position])
            # Function-Preserving 初始化：新层权重 copy 旧层
            self.model.layers.insert(insert_position + 1, new_layer)
            self.model.reset_biases_at(insert_position + 1)  # bias 置零
        elif growth_config.mode == "width":
            # 扩展 FFN 和 Attention 的隐藏维度
            self.model.expand_hidden_dim(growth_config.expand_ratio)
        return self.model

    def _should_switch_stage(self, criteria: SwitchCriteria) -> bool:
        """判断是否应切换到下一阶段"""
        if criteria.type == "steps":
            return self.step_count >= criteria.threshold
        elif criteria.type == "loss_plateau":
            return self._loss_plateau_detected(criteria.patience)
        elif criteria.type == "accuracy":
            return self.eval_accuracy >= criteria.threshold

1.5 性能指标

1.6 扩展性与安全性

水平扩展

多阶段渐进式训练天然适合水平扩展：

• 并行的模型家族构建：不同规模的模型可从小模型渐进扩展而来，而非独立训练。COLM 2025 方法用 1B→2B→4B→8B 的渐进式扩展构建模型家族，总计算量降低 ~25%。
• 多领域专家并行训练：美团 LongCat-Flash-Thinking 方案对不同领域（STEM、Code、Agentic）分别训练专家模型，然后进行参数级融合，实现训练并行化。
• 异步 Rollout 扩展：DORA 系统的多版本流式训练实现异步 rollout，端到端吞吐提升最高 2.12 倍。

垂直扩展

• 单节点优化：渐进式训练早期使用小模型时，可利用更大的 batch size 和更高的学习率加速训练。
• 混合精度调度：不同阶段可动态切换精度（FP16/INT8 混合），文心 5.1 的异构计算调度器即采用此策略。
• 层冻结策略：Growing Transformers 方法将已训练层冻结，只训练新增层，大幅降低活跃参数比例。

安全考量

1. 阶段间的知识遗忘：在模型扩展或数据切换时可能发生灾难性遗忘。CLewR 方法通过"课程重启"（Curriculum Restarts）缓解此问题。
2. 课程偏差：如果课程数据过于简单，模型可能无法泛化到复杂真实场景。需使用模型自适应的难度定义（如 CCL 方法）。
3. 扩展后的性能退化：深度生长后的模型可能在初始阶段出现性能下降。Function-Preserving 初始化 + 渐进式学习率 warmup 可缓解。
4. RL 阶段的奖励黑客：在渐进式 RL 阶段，模型可能利用奖励函数的漏洞（reward hacking），需配合持续的红队测试。

第二部分：行业情报

数据采集时间：2026-05-13 | 数据来源：GitHub、arXiv、会议论文、技术博客

2.1 GitHub 热门项目

多阶段训练框架

课程学习与渐进式训练

模型生长与扩展

2.2 关键论文

经典/高影响力（奠基性工作）

最新 SOTA（前沿进展）

2.3 系统化技术博客

2.4 技术演进时间线

2020 ─┬─ Progressive Layer Dropping (Microsoft) → 训练中逐步减少层数加速训练
      │
2021 ─┬─ CompoundGrow (Google) → 首次联合深度/宽度/序列长度渐进增长, BERT-base 加速 73.6%
      ├─ StackBERT (ICML) → 渐进式堆叠层, 验证深度渐进生长可行性
      │
2022 ─┬─ bert2BERT (清华+华为, ACL) → Function-Preserving Initialization 形式化定义
      ├─ ChatGPT 发布 → 行业认识到 RLHF 后训练的重要性, 推动多阶段训练管线
      │
2023 ─┬─ RaPTr (NeurIPS Workshop) → 渐进式子网络训练, 从部分网络到全网络的平滑过渡
      ├─ LLaMA 系列发布 → 开源社区推动预训练+SFT+RL 的标准化三阶段管线
      ├─ OpenRLHF 开源 → 生产级多阶段 RLHF 框架
      │
2024 ─┬─ DeepSeek-V2 → MoE 架构 + 多阶段训练策略验证
      ├─ GRPO 提出 → 无 critic 模型的 RL 算法, 极大简化后训练管线
      ├─ 中训练 (Mid-Training) 概念兴起 → 预训练与后训练之间的关键桥梁阶段
      │
2025 ─┬─ EACL 2026 (提前发布) → 200+ 模型系统验证课程学习在预训练中的 18-45% 加速
      ├─ CGLS → 首次同步数据难度 + 模型深度增长
      ├─ MIDAS/LIDAS → 中间层插入胜于尾部插入
      ├─ EvoLM (NeurIPS Oral) → 跨 4 阶段的训练动态系统性分析
      ├─ "Train Long, Think Short" → 渐进式 token 预算衰减范式
      ├─ Growing Transformers → 冻结基座上逐层生长, 复杂推理在深度足够时涌现
      ├─ Meta ExIt → 自举式迭代自我改进, 单步训练实现多步改进
      ├─ 美团 Metis-RISE → 先 RL 后 SFT 的倒序训练范式
      │
2026 ─┬─ Efficient Model Family Construction (COLM) → 1B→2B→4B→8B 渐进式家族构建, 计算节省 25%
      ├─ Implicit Curriculum Hypothesis → 技能涌现顺序跨模型高度一致的发现
      ├─ PRISM → 中训练重塑 90%+ 参数而 RL 只改 5%
      ├─ DORA → 异步多版本流式训练, 2.12x 吞吐提升
      ├─ 文心 5.1 → 多维弹性预训练 + 三阶段 RL 管线, 成本降至行业 6%
      ├─ MegaScale-Omni (字节) → 多模态多阶段训练系统, 1.27x-7.57x 吞吐提升
      │
      └─ 当前状态：多阶段渐进式训练已从"单一维度的课程学习"演进为"模型容量、数据难度、
         训练目标的**三维联动渐进框架**"，正朝着自动化调度和端到端联合优化的方向发展。

第三部分：方案对比

3.1 历史发展时间线

2020 ─┬─ Progressive Layer Dropping → 首次将"渐进"概念引入 Transformer 训练
2021 ─┬─ CompoundGrow → 维度扩展：从单维度(深度)到多维度(深度+宽度+序列长度)
2022 ─┬─ bert2BERT → 理论规范：Function-Preserving 初始化成为模型扩展的标准方法
2023 ─┬─ RaPTr + OpenRLHF → 两条路径分化：模型生长 vs 多阶段后训练管线
2024 ─┬─ GRPO + Mid-Training → 简化 RL + 填补"预训练-后训练"鸿沟
2025 ─┬─ 百花齐放：CGLS(联动)、MIDAS(中插)、EvoLM(系统分析)、DORA(异步)
2026 ─┴─ 当前状态：三维联动成熟化，自动化调度成新焦点

3.2 六种方案横向对比

方案概览

3.3 技术细节对比

3.4 选型建议

第四部分：精华整合

4.1 The One 公式

这个公式揭示了一个悖论：渐进式训练的本质是在"逐步增加难度"和"逐步扩大容量"之间寻找最优节奏，同时必须不断对抗阶段切换带来的知识遗忘——就像攀岩时既要点到更高的位置，又要确保没有滑落。

4.2 一句话解释

大模型渐进式训练就像教一个学生——先学加减法再用计算器、先写短句再写长文、先模仿后创作，而不是第一天就让 TA 写一篇博士论文。

4.3 核心架构图

训练开始 → [阶段1: 简单数据 + 小模型]
               ↓ (数据难度递增 + 模型层数增加)
          [阶段2: 中等数据 + 中层数模型]
               ↓ (加入指令数据 + 切换到 SFT 目标)
          [阶段3: 复杂数据 + 全模型 + 指令学习]
               ↓ (加入奖励信号 + 切换到 RL 目标)
          [阶段4: 全难度数据 + 全模型 + 偏好对齐]
               ↓
训练完成 → [可部署模型]

4.4 STAR 总结

Situation（背景与痛点）

当前大模型训练面临的核心矛盾是"规模与效率"的冲突。以 GPT-4 为代表的千亿参数模型训练成本高达数千万美元，且存在严重的资源浪费——训练中后期约 40% 的 token 对模型学习贡献甚微（Tirumala et al., 2023）。同时，传统"从零训练"模式要求每次从头起步，无法复用已有的小模型训练成果。行业急需在保持最终性能的前提下大幅降低训练计算成本的方法。

Task（核心问题）

如何在多阶段训练过程中，通过动态调整模型架构、数据分布和训练目标，实现计算效率的最大化？关键约束包括：(1) 保证最终模型性能不低于甚至超越独立训练的基线；(2) 避免阶段切换带来的知识遗忘；(3) 自动化调度各阶段的转换时机和参数配比，减少人工调优成本。

Action（主流方案）

2025-2026 年，该领域经历了从单维度到多维度联动的重要演进。早期工作（CompoundGrow 2021、bert2BERT 2022）专注于模型架构的渐进生长。2023-2024 年随着 RLHF 的成熟，多阶段后训练管线（SFT→RL→蒸馏）成为行业标准。2025 年 CGLS 首次实现了数据难度与模型深度的同步联动，MIDAS 发现了"中间层插入"优于"尾部插入"的重要规律。2026 年的关键突破包括：隐式课程假设的提出（技能涌现具跨模型一致性）、PRISM 对中训练的系统性解析（重塑 90%+ 参数）、以及 Efficient Model Family Construction（从 1B 渐进扩展到 8B，计算节省 25%）。

Result（效果与建议）

当前最佳实践表明：(1) 中等规模预训练中，课程学习可减少 18-45% 训练步数；(2) 对于 10B+ 模型的家族构建，渐进式模型扩展可节省约 25% 的计算量；(3) 中训练（Mid-Training）是性价比最高的质量提升手段（+15-40 分）。(4) 三维联动渐进（数据+模型+目标同步演进）代表未来方向，但实现复杂度极高，目前仅大厂具备完整实践能力。实操建议：对中小团队，优先采用"课程学习 + OpenRLHF 后训练管线"的组合；对大型团队，尝试将中训练纳入标准训练流程并关注 CGLS 类联动策略。

4.5 理解确认问题

Q: 如果一家 AI 公司想在 8 个 GPU 上以最低成本训练一个 7B 模型，它应该如何设计训练策略？请说明你的方案选择的依据。

参考答案要点:

1. 数据层面：使用难度分层（按压缩率/MTLD 排序），前 30% 训练步数仅使用简单数据（warmup 式课程学习），后续恢复随机采样。根据 EACL 2026 经验，这样可减少约 20% 训练步数。
2. 模型层面：不从零训练 7B 模型，而是先训练一个 1B 模型收敛后，通过 Function-Preserving 初始化扩展为 7B 模型继续训练（借鉴 COLM 2025 方法）。这样前期 1B 训练速度快 7 倍，总计算量节省约 25%。
3. 训练目标层面：预训练完成后，加入中训练阶段（对数学和代码数据继续预训练），然后使用 OpenRLHF 进行 SFT + GRPO 对齐。PRISM 表明中训练可加+15~+40 分。
4. 总成本估算：相比独立训练 7B，该方案可节省约 30-40% 总计算量，约等效于 5-6 个 GPU 跑完全程。

附录

A. 数据来源汇总

B. 缩略语对照

本报告基于截至 2026-05-13 的公开信息撰写，数据来源包括 GitHub、arXiv、Google Scholar、各大学术会议论文集及技术博客。文中所有影响力和指标数据均为调研时的快照值，可能随时间变化。