大模型训练数据配比优化策略深度调研报告

调研主题： 大模型训练数据配比优化策略 所属领域： 大模型训练 调研日期： 2026-03-11 报告版本： 1.0

目录

1. 维度一：概念剖析
2. 维度二：行业情报
3. 维度三：方案对比
4. 维度四：精华整合

维度一：概念剖析

1. 定义澄清

通行定义

大模型训练数据配比优化策略是指在大规模语言模型（LLM）预训练和微调阶段，对不同来源、不同质量、不同领域的训练数据进行科学化的比例分配和动态调度，以在有限计算预算下最大化模型最终性能的系统性方法论。其核心目标是通过最优的数据组合策略，实现模型在通用能力、专业能力和效率之间的最佳平衡。

数据配比优化涵盖三个层面：

• 静态配比：训练前确定各数据源的固定比例
• 动态调度：训练过程中根据损失曲线动态调整采样权重
• 课程学习：按难度或重要性顺序组织数据呈现次序

常见误解

1. 误解一：数据越多越好 实际上，数据质量和配比的重要性远超过原始数量。研究表明，使用 10% 的高质量精选数据可以达到与全量数据相当甚至更好的效果。盲目堆砌数据不仅浪费计算资源，还可能引入噪声损害模型性能。

2. 误解二：配比一旦确定不可更改 现代训练策略强调动态配比，即根据训练进展实时调整数据采样权重。DoReMi 等方法证明，动态优化可以显著提升训练效率。

3. 误解三：所有任务使用同一配比 不同目标（通用对话、代码生成、专业领域）需要不同的数据配方。代码密集型任务需要更高比例的代码数据，而多语言任务需要平衡各语言的代表性。

边界辨析

2. 核心架构

┌────────────────────────────────────────────────────────────────┐
│              大模型训练数据配比优化系统架构                      │
├────────────────────────────────────────────────────────────────┤
│                                                                │
│  ┌──────────────┐     ┌──────────────┐     ┌──────────────┐   │
│  │  数据源采集层  │────▶│  质量评估层   │────▶│  配比决策层   │   │
│  │  - Web Corpus│     │  - 去重检测   │     │  - 权重计算   │   │
│  │  - 书籍/论文  │     │  - 质量分类   │     │  - 动态调度   │   │
│  │  - 代码仓库   │     │  - 毒性过滤   │     │  - 课程排序   │   │
│  │  - 多语言语料  │     │  - 语言识别   │     │              │   │
│  └──────────────┘     └──────────────┘     └──────────────┘   │
│           │                   │                    │           │
│           ▼                   ▼                    ▼           │
│  ┌─────────────────────────────────────────────────────────┐   │
│  │                    统一数据池                            │   │
│  │         (标准化格式、索引、元数据存储)                     │   │
│  └─────────────────────────────────────────────────────────┘   │
│                              │                                 │
│                              ▼                                 │
│  ┌──────────────┐     ┌──────────────┐     ┌──────────────┐   │
│  │  采样执行层   │◀────│  监控反馈层   │────▶│  性能评估层   │   │
│  │  - 加权采样   │     │  - 损失跟踪   │     │  - 基准测试   │   │
│  │  - 批次构建   │     │  - 分布漂移   │     │  - 消融实验   │   │
│  └──────────────┘     └──────────────┘     └──────────────┘   │
│                                                                │
└────────────────────────────────────────────────────────────────┘

数据流向：采集 → 评估 → 决策 → 存储 → 采样 → 训练 → 反馈 → 调整

组件职责说明：

3. 数学形式化

3.1 数据混合损失函数

令 $\mathcal{D} = \{D_1, D_2, \ldots, D_K\}$ 为 $K$ 个数据源，$\alpha = (\alpha_1, \alpha_2, \ldots, \alpha_K)$ 为采样权重（$\sum_k \alpha_k = 1, \alpha_k \geq 0$），则混合数据的期望损失为：

$\mathcal{L}(\theta; \alpha) = \sum_{k=1}^{K} \alpha_k \cdot \mathbb{E}_{(x,y) \sim D_k} \left[ \ell(f_\theta(x), y) \right]$

解释： 总体损失是各数据源损失的加权和，权重 $\alpha_k$ 决定各数据源对梯度的贡献比例。

3.2 最优配比优化问题

给定计算预算 $B$（token 数量），寻找最优权重 $\alpha^*$ 以最小化验证损失：

$\alpha^* = \arg\min_{\alpha \in \Delta^{K-1}} \mathcal{L}_{\text{val}}(\theta^*(\alpha)) \quad \text{s.t.} \quad \sum_{k=1}^K \alpha_k \cdot |\text{tokens}_k| \leq B$

解释： 在预算约束下的单纯形 $\Delta^{K-1}$ 上搜索最优配比，使验证集性能最佳。

3.3 DoReMi 组别鲁棒性优化

DoReMi 通过最小化最坏组别损失来自动学习数据配比：

$\min_{\theta} \max_{k \in \{1,\ldots,K\}} \mathcal{L}_{D_k}(\theta) \quad \Rightarrow \quad \alpha_k \propto \exp\left(\eta \cdot \mathcal{L}_{D_k}(\theta)\right)$

解释： 损失越高的数据源获得越高的采样权重，通过指数加权实现动态平衡。

3.4 数据价值评估（Data Shapley）

数据点 $(x_i, y_i)$ 的 Shapley 值衡量其对模型性能的边际贡献：

$\phi_i = \sum_{S \subseteq \mathcal{D} \setminus \{i\}} \frac{|S|! (|\mathcal{D}| - |S| - 1)!}{|\mathcal{D}|!} \left[ \text{Acc}(S \cup \{i\}) - \text{Acc}(S) \right]$

解释： 通过枚举所有子集计算数据点的平均边际贡献，高 Shapley 值数据应获得更高采样概率。

3.5 课程学习调度函数

定义难度感知的采样概率随训练步数 $t$ 的变化：

$P(x_i; t) = \frac{\exp\left(-\beta(t) \cdot \text{difficulty}(x_i)\right)}{\sum_j \exp\left(-\beta(t) \cdot \text{difficulty}(x_j)\right)}$

其中 $\beta(t)$ 为温度参数，随训练逐渐降低（从易到难）。

解释： 训练初期优先采样简单样本，后期逐步增加困难样本比例。

4. 实现逻辑

class DataMixtureOptimizer:
    """
    大模型训练数据配比优化核心系统

    职责:
    - 管理多源数据池的采样权重
    - 根据训练反馈动态调整配比
    - 支持多种优化策略（DoReMi、课程学习等）
    """

    def __init__(self, data_sources, config):
        """
        Args:
            data_sources: Dict[str, Dataset] - 各数据源及其内容
            config: 优化配置（预算、目标、策略等）
        """
        self.data_sources = data_sources  # 数据源池
        self.num_sources = len(data_sources)

        # 初始化采样权重（可基于先验知识或均匀分布）
        self.weights = self._init_weights(config.init_strategy)

        # 训练状态追踪
        self.source_losses = {k: [] for k in data_sources.keys()}  # 各源历史损失
        self.global_step = 0

        # 优化器配置
        self.optim_config = {
            'strategy': config.strategy,  # 'doremi', 'curriculum', 'static'
            'update_freq': config.update_freq,  # 权重更新频率
            'temperature': config.temperature,  # softmax 温度
            'budget_tokens': config.budget_tokens,  # 总 token 预算
        }

    def _init_weights(self, strategy):
        """根据初始化策略设置初始权重"""
        if strategy == 'uniform':
            return np.ones(self.num_sources) / self.num_sources
        elif strategy == 'size_proportional':
            sizes = [len(ds) for ds in self.data_sources.values()]
            return np.array(sizes) / sum(sizes)
        elif strategy == 'quality_prior':
            # 基于先验质量评分初始化
            return self._compute_quality_weights()

    def sample_batch(self, batch_size):
        """
        根据当前权重进行加权采样，构建训练批次

        Returns:
            batch: 采样的数据批次
        """
        # 根据权重分配各数据源的样本数
        source_counts = np.random.multinomial(batch_size, self.weights)

        batch = []
        for (source_name, dataset), count in zip(self.data_sources.items(), source_counts):
            if count > 0:
                indices = np.random.choice(len(dataset), count, replace=True)
                batch.extend([dataset[i] for i in indices])

        # 打乱批次顺序
        np.random.shuffle(batch)
        return batch

    def update_weights(self, step_losses):
        """
        根据训练反馈更新采样权重

        Args:
            step_losses: Dict[str, float] - 各数据源在当前步的损失
        """
        self.global_step += 1

        # 记录历史损失
        for source, loss in step_losses.items():
            self.source_losses[source].append(loss)

        # 按频率更新权重
        if self.global_step % self.optim_config['update_freq'] != 0:
            return

        strategy = self.optim_config['strategy']

        if strategy == 'doremi':
            # DoReMi: 高损失源获得更高权重
            self._update_doremi(step_losses)
        elif strategy == 'curriculum':
            # 课程学习：按难度调度
            self._update_curriculum()
        elif strategy == 'shapley':
            # 基于数据价值评估
            self._update_shapley()

        # 确保权重和为 1
        self.weights = self.weights / self.weights.sum()

    def _update_doremi(self, step_losses):
        """DoReMi 策略：指数加权更新"""
        losses = np.array([step_losses[k] for k in self.data_sources.keys()])
        temp = self.optim_config['temperature']

        # 高损失源获得更高权重
        exp_weights = np.exp(losses / temp)
        self.weights = exp_weights / exp_weights.sum()

    def _update_curriculum(self):
        """课程学习策略：逐步增加难度"""
        # 计算进度 (0 到 1)
        progress = min(1.0, self.global_step / (self.optim_config['budget_tokens'] / 1000))

        # 线性/余弦退火增加困难样本权重
        difficulty_weights = self._compute_difficulty_scores()
        alpha = progress  # 从 0 增加到 1

        self.weights = (1 - alpha) * self._easy_weights + alpha * difficulty_weights

    def _compute_difficulty_scores(self):
        """基于历史损失计算各数据源的难度分数"""
        avg_losses = {
            k: np.mean(v[-100:]) if len(v) > 0 else 0
            for k, v in self.source_losses.items()
        }
        losses = np.array([avg_losses[k] for k in self.data_sources.keys()])
        # 归一化为概率分布
        return np.exp(losses) / np.exp(losses).sum()

    def get_current_mixture_report(self):
        """生成当前配比状态的报告"""
        return {
            'step': self.global_step,
            'weights': dict(zip(self.data_sources.keys(), self.weights)),
            'avg_losses': {
                k: np.mean(v[-10:]) if len(v) > 0 else None
                for k, v in self.source_losses.items()
            }
        }


# 使用示例
if __name__ == "__main__":
    # 配置数据源
    data_sources = {
        'web_corpus': WebDataset("path/to/web"),
        'code': CodeDataset("path/to/code"),
        'books': BookDataset("path/to/books"),
        'scientific': SciDataset("path/to/scientific"),
    }

    # 创建优化器
    optimizer = DataMixtureOptimizer(
        data_sources=data_sources,
        config=OptimizerConfig(
            strategy='doremi',
            update_freq=100,
            temperature=0.5,
            budget_tokens=1e12
        )
    )

    # 训练循环
    for step in range(total_steps):
        # 采样批次
        batch = optimizer.sample_batch(batch_size=512)

        # 前向传播并计算各源损失
        outputs = model(batch)
        step_losses = compute_per_source_losses(outputs, batch)

        # 反向传播
        loss = sum(step_losses.values())
        loss.backward()
        optimizer.step()

        # 更新数据配比
        optimizer.update_weights(step_losses)

5. 性能指标

6. 扩展性与安全性

水平扩展

数据配比系统的水平扩展主要面临以下挑战和解决方案：

扩展策略：

• 分片数据池：将数据按源或主题分片存储在不同节点
• 层次化权重：先优化大类权重，再优化细分类权重
• 异步更新：权重更新与训练解耦，降低同步开销

垂直扩展

单节点优化的上限取决于：

• 内存容量：索引和元数据的存储需求
• 采样延迟：加权采样的算法复杂度（通常 O(log K)）
• 更新频率：频繁更新增加计算负担

优化方向：

• 使用近似采样算法（如别名方法）实现 O(1) 采样
• 增量式权重更新，避免全量重计算
• 数据压缩和量化减少内存占用

安全考量

安全最佳实践：

1. 建立数据源白名单和黑名单机制
2. 实施多层次内容过滤（规则 + 模型）
3. 定期进行偏见和毒性审计
4. 维护数据处理的可追溯日志

维度二：行业情报

1. GitHub 热门项目（15+ 个）

数据说明： Stars 数量和更新日期基于 2025-2026 年度活跃项目统计，筛选标准为最近 6 个月有活跃提交且 Stars > 500。

2. 关键论文（12 篇）

3. 系统化技术博客（10 篇）

4. 技术演进时间线

维度三：方案对比

1. 历史发展时间线

2020 ─┬─ GPT-3 范式 → 数据规模优先，配比依赖人工经验
      │
2022 ─┼─ Chinchilla 定律 → 证明数据效率比规模更重要
      │
2023 ─┼─ RedPajama/DoReMi → 开源数据集 + 动态配比优化诞生
      │
2024 ─┼─ DataComp/FineWeb → 标准化评估 + 细粒度质量过滤
      │
2025 ─┴─ ReMix/DiVa → 元学习自动搜索配比，行业最佳实践成熟
      │
当前状态：动态配比优化 + 多层次质量过滤 + 自动化搜索成为大模型训练标配

2. 五种方案横向对比

3. 技术细节对比

4. 选型建议

5. 主流数据源配比参考

基于公开技术报告的综合配比建议：

注意： 具体配比需根据目标应用场景调整，上述数据仅供参考。

维度四：精华整合

1. The One 公式

公式解读： 最优配比 = 质量加权的多源组合 + 基于验证损失的动态调整 - （冗余 + 偏见）的损耗

2. 一句话解释

大模型训练数据配比优化就像是给 AI 设计一份"营养均衡的食谱"——不是吃得越多越好，而是要在有限食量内，科学搭配不同食物（数据源）的比例，让 AI 学到最全面、最高质量的知识。

3. 核心架构图

┌─────────────────────────────────────────────────────────┐
│                  数据配比优化核心流程                     │
├─────────────────────────────────────────────────────────┤
│                                                         │
│   多源数据 ──▶ [质量过滤] ──▶ [权重计算] ──▶ [加权采样]   │
│               ↓           ↓          ↓         ↓        │
│           去重/毒性    DoReMi/    采样器   训练批次      │
│           分类/语言    ReMix                               │
│               ↓           ↓                  ↓          │
│           质量分     动态更新            模型训练        │
│                                 ↓                        │
│                            [验证反馈] ──┐               │
│                                 │       │               │
│                                 └───────┘               │
│                                    闭环优化              │
└─────────────────────────────────────────────────────────┘

4. STAR 总结

5. 理解确认问题

问题： 为什么 DoReMi 方法要让"损失越高的数据源获得越高的采样权重"？这与直觉上"避开困难数据"的想法相反，其背后的理论依据是什么？

参考答案： DoReMi 的核心思想是组别鲁棒性优化（Group Robustness Optimization）。其理论依据在于：

1. 最坏情况最小化：目标是让模型在所有数据源上都表现良好，而非仅优化平均性能。高损失的数据源代表模型的"薄弱环节"，需要更多关注。

2. 在线对偶梯度下降：从优化角度，DoReMi 等价于求解 $\min_\theta \max_k \mathcal{L}_{D_k}(\theta)$ 的对偶问题。指数加权更新是对偶变量的自然形式。

3. 信息论解释：高损失数据源包含更多模型尚未学习的"信息"，优先采样可最大化信息增益。

4. 实践验证：实验表明，均匀配比下某些数据源的损失始终高于其他源，DoReMi 通过动态调整使各源损失趋于平衡，最终验证损失显著降低。

这一设计与"课程学习"从易到难的策略看似矛盾，实则互补：课程学习关注单条样本的难度调度，DoReMi 关注多源数据的权重分配，两者可结合使用。

附录：实操清单

数据配比优化启动清单

• 确定数据源类别（网页、代码、书籍、科学、对话、多语言）
• 建立数据质量评估管道（去重、毒性过滤、语言识别）
• 选择配比策略（静态/DoReMi/ReMix）
• 设置验证集用于配比评估
• 配置权重更新频率（建议 100-1000 steps）
• 建立配比 - 性能的监控看板
• 准备回滚机制（动态策略失效时切换静态）

常见陷阱与规避

报告完成时间： 2026-03-11 总字数： 约 8,500 字 数据来源： GitHub、arXiv、技术博客、公开技术报告 下次更新建议： 2026-09（跟踪最新技术进展）