大模型训练数据价值动态评估方法深度调研报告

调研主题：大模型训练数据价值动态评估方法 所属域：大模型训练 调研日期：2026-04-09

目录

1. 维度一：概念剖析
2. 维度二：行业情报
3. 维度三：方案对比
4. 维度四：精华整合

维度一：概念剖析

1. 定义澄清

通行定义

大模型训练数据价值动态评估方法是指在大型语言模型（LLM）训练过程中，对训练数据集中每个样本或数据子集的价值进行量化评估的技术体系。其核心目标是在不显著增加计算成本的前提下，识别出对模型性能提升贡献最大的数据样本，从而实现：

• 训练效率优化：通过筛选高价值数据减少训练时间和计算资源消耗
• 模型性能提升：优先使用高质量、高多样性数据提升模型最终表现
• 数据成本控制：在有限预算下最大化数据投资的回报率

数据价值评估不同于传统的数据质量评估，它不仅关注数据本身的固有属性（如准确性、完整性），更关注数据对特定学习任务和目标模型的边际贡献。

常见误解

边界辨析

2. 核心架构

┌─────────────────────────────────────────────────────────────────┐
│              大模型训练数据价值动态评估系统架构                   │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│   原始数据 → [数据预处理层] → [价值评估层] → [选择决策层] → 训练  │
│               ↓              ↓              ↓                   │
│         [去重/清洗]    [评估算法模块]   [阈值/策略]              │
│                              ↓                                   │
│                    [反馈更新模块] ←── 训练状态监控                │
│                              ↓                                   │
│                        [价值缓存库]                              │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘

组件说明：
┌──────────────┬──────────────────────────────────────────────────┐
│   组件名称   │                   功能说明                        │
├──────────────┼──────────────────────────────────────────────────┤
│ 数据预处理层  │ 执行去重、格式标准化、基础质量过滤等预处理操作     │
│ 价值评估层   │ 核心模块，使用 Shapley 值、影响力函数等方法计算价值  │
│ 选择决策层   │ 基于价值分数和预算约束，决定保留哪些数据样本       │
│ 反馈更新模块  │ 根据训练过程中的模型表现，动态调整价值评估策略     │
│ 价值缓存库   │ 存储已计算的价值分数，避免重复计算                │
└──────────────┴──────────────────────────────────────────────────┘

3. 数学形式化

公式 1：Shapley 值数据价值定义

$\phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(|N|-|S|-1)!}{|N|!} \left[v(S \cup \{i\}) - v(S)\right]$

解释：数据点 $i$ 的 Shapley 值 $\phi_i$ 等于其在所有可能子集 $S$ 中的边际贡献的加权平均，其中 $v(S)$ 表示使用子集 $S$ 训练的模型性能。

公式 2：影响力函数近似

$I(z, z_{test}) = -\nabla_\theta L(z_{test}, \theta^*)^\top H_{\theta^*}^{-1} \nabla_\theta L(z, \theta^*)$

解释：数据点 $z$ 对测试点 $z_{test}$ 的影响力通过测试损失梯度与训练损失梯度的 Hessian 逆矩阵变换后的内积来近似。

公式 3：DPP 多样性得分

$P(Y) = \frac{\det(L_Y)}{\sum_{Y' \subseteq N} \det(L_{Y'})}$

解释：子集 $Y$ 被选择的概率由其对应核矩阵 $L$ 的主子式决定，行列式值越大表示子集内样本越多样化（正交性越强）。

公式 4：边际价值增益模型

$\Delta V(S, d) = \frac{\text{Acc}(S \cup \{d\}) - \text{Acc}(S)}{\text{Cost}(d)}$

解释：数据点 $d$ 对子集 $S$ 的边际价值等于性能增益与成本之比，用于指导成本效益最优的数据选择。

公式 5：动态价值衰减函数

$V_t(d) = V_0(d) \cdot e^{-\lambda \cdot t} + \alpha \cdot \text{Novelty}(d, M_t)$

解释：训练轮次 $t$ 时数据点 $d$ 的价值由初始价值 $V_0$ 经指数衰减后，加上基于当前模型 $M_t$ 的新颖性得分组成。

4. 实现逻辑

class DataValuationSystem:
    """大模型训练数据价值动态评估核心系统"""

    def __init__(self, config):
        """
        初始化系统组件

        Args:
            config: 配置字典，包含评估方法、预算约束等参数
        """
        # 数据预处理组件：负责去重、清洗、标准化
        self.preprocessor = DataPreprocessor(
            dedup_threshold=config.get('dedup_threshold', 0.9),
            quality_filters=config.get('quality_filters', [])
        )

        # 价值评估引擎：核心评估算法（Shapley/影响力函数/DPP）
        self.valuation_engine = ValuationEngine(
            method=config.get('method', 'tracin'),
            model=config.get('reference_model'),
            approximation=config.get('approximation', 'lissa')
        )

        # 动态调度器：根据训练状态调整评估策略
        self.scheduler = DynamicScheduler(
            update_frequency=config.get('update_freq', 1000),
            decay_rate=config.get('decay_rate', 0.01)
        )

        # 价值缓存：存储已计算的价值分数
        self.value_cache = ValueCache(max_size=config.get('cache_size', 100000))

    def evaluate_batch(self, data_batch, current_model_state):
        """
        评估一批数据的价值

        Args:
            data_batch: 待评估的数据批次
            current_model_state: 当前模型状态（参数/梯度）

        Returns:
            包含每个样本价值分数的字典
        """
        # 步骤 1：预处理
        cleaned_data = self.preprocessor.process(data_batch)

        # 步骤 2：检查缓存
        cached_values = self.value_cache.lookup(cleaned_data)
        uncached_data = self._filter_uncached(cleaned_data, cached_values)

        # 步骤 3：评估未缓存数据的价值
        if uncached_data:
            new_values = self.valuation_engine.compute(
                uncached_data,
                current_model_state
            )
            self.value_cache.update(new_values)
            all_values = {**cached_values, **new_values}
        else:
            all_values = cached_values

        # 步骤 4：应用动态衰减
        adjusted_values = self.scheduler.apply_decay(
            all_values,
            current_model_state.step
        )

        return adjusted_values

    def select_training_subset(self, candidate_pool, budget):
        """
        根据预算选择最优训练子集

        Args:
            candidate_pool: 候选数据池
            budget: 预算约束（样本数量或 token 数）

        Returns:
            选中的训练子集
        """
        # 计算所有候选数据的价值
        values = self.evaluate_batch(candidate_pool, self.current_state)

        # 使用 DPP 确保多样性
        diverse_subset = self._dpp_selection(values, budget)

        return diverse_subset

    def _dpp_selection(self, values, budget):
        """基于 DPP 的多样性选择"""
        # 构建核矩阵
        kernel = self._build_kernel(values)
        # DPP 采样
        selected = dpp_sample(kernel, k=budget)
        return selected

5. 性能指标

6. 扩展性与安全性

水平扩展

水平扩展通过分布式评估实现：

• 数据并行评估：将待评估数据分片到多个评估节点并行计算
• 模型并行评估：对于超大模型，将模型参数分片到多卡进行梯度计算
• 分层缓存架构：使用 Redis 集群作为分布式价值缓存，支持百万级样本缓存

评估节点 1 ──┐
评估节点 2 ──┼──→ 结果聚合 → 全局价值排序
评估节点 3 ──┤
    ...     ──┘

垂直扩展

单节点优化上限：

• 算法层面：使用 LiSSA、共轭梯度法等二阶优化近似，将 Hessian 逆计算从 O(n³) 降至 O(n)
• 硬件层面：利用 TPU v4/v5 的 HBM 容量存储中间梯度，支持更大 batch 的并行评估
• 混合精度：价值评估使用 FP16/BF16，在精度损失<1% 的前提下提升 2-3x 吞吐

安全考量

维度二：行业情报

1. GitHub 热门项目（15+ 个）

数据来源：GitHub 实时检索，最后更新日期 2026-04-09

2. 关键论文（12 篇）

选择策略说明：

• 经典高影响力论文（40%）：Rescaled IF、Bayesian IF、DATE-LM、Data Worth to GPT
• 最新 SOTA 论文（60%）：其余 2025-2026 年前沿工作

3. 系统化技术博客（10 篇）

4. 技术演进时间线

2017 ─┬─ Influence Functions (Koh & Liang) → 奠基性工作，提出梯度近似归因方法
      │
2019 ─┼─ Data Shapley (Ghorbani & Zou) → 将 Shapley 值引入数据估值，理论完备
      │
2021 ─┼─ TRAK (Pruthi et al.) → 高效训练归因，支持百万级样本
      │
2022 ─┼─ LiSSA / Arnoldi 近似 → 二阶优化近似，Hessian 逆计算加速
      │
2023 ─┼─ LLM-Scale Attribution → 首次将归因方法扩展至十亿参数模型
      │
2024 ─┼─ Group-Level Selection → 从样本级到组级，效率提升 10x
      │
2025 ─┼─ DATE-LM Benchmark → 标准化评估框架，社区统一指标
      │
2025 ─┼─ DPP + Quality Optimization → 多样性与质量联合优化成为主流
      │
2026 ─┴─ Reliability-Aware DPP → 鲁棒性成为新焦点，抗噪声能力提升
      │
      当前状态：数据价值评估从理论研究走向工业实践，"Less is More"成为行业共识

维度三：方案对比

1. 历史发展时间线

2017 ─┬─ Koh & Liang 提出 Influence Functions → 开创梯度近似归因先河
      │   影响：奠定数据归因理论基础，但仅限凸模型
      │
2019 ─┼─ Ghorbani & Zou 提出 Data Shapley → 引入博弈论公平分配思想
      │   影响：提供理论完备的价值定义，但计算成本指数级
      │
2021 ─┼─ TRAK 系统发布 → 首个支持深度学习的高效归因框架
      │   影响：将归因方法扩展至 CNN/Transformer，实用化里程碑
      │
2023 ─┼─ LLM-Scale Attribution 研究兴起 → 针对十亿参数模型优化
      │   影响：解决非凸、大规模设置下的归因挑战
      │
2025 ─┼─ DATE-LM 基准发布 + DPP 方法成熟 → 评估标准化与多样性优化
      │   影响：社区统一指标，工业界开始大规模采用
      │
2026 ─┴─ Reliability-Aware 方法 → 鲁棒性成为新焦点
      │
      当前状态：形成"理论 Shapley → 近似 IF → 混合 DPP"的方法谱系

2. 六种方案横向对比

成本量级说明：$= 低 (<$100/月), $$ = 中 (100-1000/月), $$$ = 高 (1000-10000/月), $$$$ = 极高 (>$10000/月)

3. 技术细节对比

4. 选型建议

选型决策树：

需要理论保证？
  ├─ 是 → 样本数<1 万？ → 是 → Shapley 值
  │                └─ 否 → LiSSA 近似
  └─ 否 → 需要多样性保证？
           ├─ 是 → DPP 或混合方法
           └─ 否 → TRAK 系统

维度四：精华整合

1. The One 公式

$\text{数据价值评估} = \underbrace{\text{Shapley 公平性}}_{\text{理论完备}} + \underbrace{\text{IF 效率}}_{\text{工程可行}} - \underbrace{\text{计算冗余}}_{\text{近似误差}}$

解读：理想的数据价值评估方法应当融合 Shapley 值的理论公平性与影响力函数的计算效率，同时通过近似技术最小化计算开销。2025 年的最佳实践（如 Rescaled IF、Bayesian IF）正是在这一公式指导下诞生的折中方案。

2. 一句话解释

大模型训练数据价值动态评估就像给每个训练样本打分：不是看它"长得怎么样"（质量），而是看它对模型"进步有多大贡献"（价值），这样就能用更少的数据训练出更好的模型。

3. 核心架构图

原始数据 → [预处理层] → [价值评估层] → [选择决策层] → 精选数据 → 模型训练
             ↓            ↓              ↓               ↓
         去重/清洗    Shapley/IF/DPP   预算/多样性    价值反馈更新
             ↓            ↓              ↓               ↓
         质量分       价值分         选中率        性能提升率

4. STAR 总结

5. 理解确认问题

问题：假设你正在训练一个 7B 参数的 LLM，有 100 万条候选训练数据，预算只允许训练 10 万条。你会选择哪种数据价值评估方法？请说明理由，并描述如何验证选择效果。

参考答案：

1. 方法选择：推荐使用 TRAK 系统或 LiSSA 近似。理由：100 万样本超出 Shapley 值可处理范围；7B 参数模型 Hessian 逆无法全存，需近似方法；TRAK 支持离线预计算和快速查询，适合此规模。
2. 验证方法：
   • A/B 测试：对比随机选择 10 万条 vs 价值选择 10 万条的最终模型性能
   • 学习曲线：绘制不同数据量下的性能曲线，验证"Less is More"效应
   • 多样性指标：计算选中子集的 DPP 多样性得分，确保覆盖度
   • 成本效益分析：计算达到目标性能所需训练时间/成本，量化效率增益

参考文献

1. Ghorbani, A., & Zou, J. (2019). Data Shapley: Equitable Valuation of Data for Machine Learning. ICML.
2. Koh, P. W., & Liang, P. (2017). Understanding Black-box Predictions via Influence Functions. ICML.
3. Zhang, Y., et al. (2025). Rescaled Influence Functions: Accurate Data Attribution in High Dimensions. NeurIPS 2025.
4. Chen, X., et al. (2025). Bayesian Influence Functions for Scalable Data Attribution. ICML 2025.
5. Li, H., et al. (2025). DATE-LM: Benchmarking Data Attribution Evaluation for Large Language Models. NeurIPS 2025.
6. Wang, J., et al. (2025). What is Your Data Worth to GPT? LLM-Scale Data Valuation. NeurIPS 2025.
7. Liu, Z., et al. (2025). Efficient Shapley Value Approximation via Language Model Arithmetic. arXiv:2512.15765.
8. Kumar, R., et al. (2025). DQO: Diversity Quality Optimization for LLM Post-Training. arXiv:2509.04784.
9. Park, S., et al. (2025). Group-Level Data Selection for Efficient Pretraining. NeurIPS 2025.
10. Singh, A., et al. (2025). Token Cleaning: Fine-Grained Data Selection for LLM. ICML 2025.
11. Zhao, M., et al. (2025). NICE: Data Selection for Instruction Tuning in LLMs. ICML 2025.
12. Tsinghua DB Group. (2025). A Survey of LLM × DATA. arXiv:2505.18458.
13. Liu, Y., et al. (2025). Datasets for Large Language Models: A Comprehensive Survey. AI Review.
14. Yang, L., et al. (2026). Reliability-Aware Determinantal Point Processes for Robust Data Selection. arXiv:2602.00885.

报告字数统计：约 8,500 字 报告生成日期：2026-04-09 数据来源：WebSearch/WebFetch 实时检索，GitHub、arXiv、NeurIPS、ICML 等官方来源