大模型训练数据去重与多样性增强深度调研报告

调研主题： 大模型训练数据去重与多样性增强 所属域： 大模型训练 调研日期： 2026-03-18

第一部分：概念剖析

1. 定义澄清

通行定义

大模型训练数据去重是指在预训练语料构建过程中，识别并移除重复或近重复文档的技术过程。其核心目标是在不显著损失信息量的前提下，减少训练数据冗余，提升训练效率和模型泛化能力。

多样性增强则是在去重基础上，通过主动选择、合成或增强手段，确保训练数据在主题、语言风格、知识领域等维度上的充分覆盖，避免模型过度拟合特定数据分布。

常见误解

1. 误解一：去重就是删除完全相同的样本 实际上，工业级去重主要针对"近重复"（near-duplicates）——即内容高度相似但存在细微差异的文档，如转载文章、轻微改写内容等。完全重复占比通常不足 1%。

2. 误解二：去重率越高越好 过度去重可能损失重要信息。某些高频出现的内容（如基础数学公式、编程语法）本身具有学习价值，需要在去重与保留之间平衡。

3. 误解三：去重只在预训练前做一次 实际流程中，去重是多层级的：网页级去重、文档级去重、段落级去重，甚至在训练过程中还需处理数据污染问题。

边界辨析

2. 核心架构

┌─────────────────────────────────────────────────────────────────┐
│            大模型训练数据去重与多样性增强系统                      │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  原始语料 → [预处理层] → [特征提取层] → [去重决策层] → [多样性层] │
│              ↓              ↓              ↓             ↓       │
│        [规范化清洗]   [MinHash/Embedding] [LSH 索引]   [聚类选择] │
│              ↓              ↓              ↓             ↓       │
│        [质量过滤]     [签名生成]      [相似度计算]  [增强合成]    │
│                                                                 │
│                              ↓                                  │
│                        [去重后语料]                              │
└─────────────────────────────────────────────────────────────────┘

各组件职责：

• 预处理层：文本规范化（Unicode 标准化、空白处理）、语言识别、质量过滤
• 特征提取层：将文档转换为可比较的签名（MinHash）或向量表示（Embedding）
• 去重决策层：使用 LSH（局部敏感哈希）快速检索候选对，计算精确相似度并决策
• 多样性层：对去重后数据进行聚类分析，确保主题分布均衡，必要时进行数据增强

3. 数学形式化

公式 1：MinHash 签名

其中 $S$ 为文档的 n-gram 集合，$\pi$ 为随机排列函数。MinHash 的最小哈希值构成文档签名，用于快速估计 Jaccard 相似度。

公式 2：Jaccard 相似度估计

使用 $k$ 个 MinHash 函数，通过签名碰撞频率估计集合 $A$ 和 $B$ 的 Jaccard 相似度 $J(A,B) = \frac{|A \cap B|}{|A \cup B|}$。

公式 3：LSH 碰撞概率

局部敏感哈希的核心性质：相似度越高的文档，哈希碰撞概率越大。对于 Jaccard 相似度，MinHash 天然满足 LSH 性质。

公式 4：多样性分数

其中 $p(c)$ 为数据集中属于聚类 $c$ 的样本比例，使用熵衡量数据分布的多样性。

公式 5：去重收益模型

去重率 $r$ 决定训练加速比；$d$ 为数据多样性指标，$\alpha$ 为任务相关系数，质量增益随多样性对数增长。

4. 实现逻辑（Python 伪代码）

import numpy as np
from typing import List, Tuple, Set
from dataclasses import dataclass

@dataclass
class Document:
    """文档数据结构"""
    id: str
    content: str
    language: str
    source: str
    quality_score: float

class MinHashSignature:
    """MinHash 签名生成器，实现局部敏感哈希"""
    def __init__(self, num_hashes: int = 128, ngram_size: int = 5):
        self.num_hashes = num_hashes  # 签名长度
        self.ngram_size = ngram_size  # n-gram 大小
        self.hash_seeds = np.random.randint(0, 2**32, num_hashes)

    def get_ngrams(self, text: str) -> Set[str]:
        """提取 n-gram 集合"""
        return {text[i:i+self.ngram_size] for i in range(len(text) - self.ngram_size + 1)}

    def compute_signature(self, text: str) -> np.ndarray:
        """计算 MinHash 签名向量"""
        ngrams = self.get_ngrams(text.lower())
        signature = np.full(self.num_hashes, np.inf)

        for ngram in ngrams:
            h = hash(ngram)
            for i in range(self.num_hashes):
                # 模拟随机排列：h_i(x) = (a_i * h(x) + b_i) mod p
                permuted = (self.hash_seeds[i] * h) % (2**32 - 1)
                signature[i] = min(signature[i], permuted)

        return signature

class LSHIndex:
    """局部敏感哈希索引，用于快速近重复检索"""
    def __init__(self, num_bands: int = 32, rows_per_band: int = 4):
        self.num_bands = num_bands
        self.rows_per_band = rows_per_band
        self.hash_tables = [{} for _ in range(num_bands)]

    def add_document(self, doc_id: str, signature: np.ndarray):
        """将文档添加到 LSH 索引"""
        for band in range(self.num_bands):
            start = band * self.rows_per_band
            end = start + self.rows_per_band
            band_signature = tuple(signature[start:end])

            if band_signature not in self.hash_tables[band]:
                self.hash_tables[band][band_signature] = []
            self.hash_tables[band][band_signature].append(doc_id)

    def get_candidates(self, signature: np.ndarray) -> Set[str]:
        """获取候选近重复文档"""
        candidates = set()
        for band in range(self.num_bands):
            start = band * self.rows_per_band
            end = start + self.rows_per_band
            band_signature = tuple(signature[start:end])

            candidates.update(self.hash_tables[band].get(band_signature, []))

        return candidates

class DeduplicationPipeline:
    """完整去重流水线"""
    def __init__(self, jaccard_threshold: float = 0.8):
        self.minhash = MinHashSignature(num_hashes=128)
        self.lsh_index = LSHIndex(num_bands=32, rows_per_band=4)
        self.threshold = jaccard_threshold
        self.seen_ids: Set[str] = set()

    def estimate_jaccard(self, sig1: np.ndarray, sig2: np.ndarray) -> float:
        """通过签名估计 Jaccard 相似度"""
        matches = np.sum(sig1 == sig2)
        return matches / len(sig1)

    def process_batch(self, documents: List[Document]) -> List[Document]:
        """处理一批文档，返回去重后的结果"""
        deduplicated = []

        for doc in documents:
            # 步骤 1: 计算签名
            signature = self.minhash.compute_signature(doc.content)

            # 步骤 2: 查询候选近重复
            candidates = self.lsh_index.get_candidates(signature)

            # 步骤 3: 精确相似度检查
            is_duplicate = False
            for candidate_id in candidates:
                # 实际应用中需要存储签名以便比较
                candidate_sig = self._get_stored_signature(candidate_id)
                similarity = self.estimate_jaccard(signature, candidate_sig)

                if similarity >= self.threshold:
                    is_duplicate = True
                    break

            # 步骤 4: 保留非重复文档
            if not is_duplicate:
                deduplicated.append(doc)
                self.lsh_index.add_document(doc.id, signature)
                self.seen_ids.add(doc.id)

        return deduplicated

5. 性能指标

6. 扩展性与安全性

水平扩展

• 分片策略：按文档哈希值分片，每个分片独立维护 LSH 索引
• 分布式 MinHash：使用一致性哈希确保相同 n-gram 路由到同一节点
• MapReduce 实现：去重可自然分解为 Map（生成签名）和 Reduce（聚类去重）两阶段

垂直扩展

• 签名压缩：使用 32 位整数替代 64 位，内存减半
• 多级索引： coarse-to-fine 策略，先快速筛选再精确比较
• GPU 加速：MinHash 签名生成和相似度计算可并行化

安全考量

第二部分：行业情报

1. GitHub 热门项目（15+ 个）

2. 关键论文（12 篇）

3. 系统化技术博客（10 篇）

4. 技术演进时间线

第三部分：方案对比

1. 历史发展时间线

2018 ─┬─ Exact Hash 去重 → 仅处理完全重复，效率低但实现简单
2019 ─┼─ MinHash+LSH  → 近重复检测成为可能，C4 数据集采用
2020 ─┼─ 多级去重架构 → 网页级 + 文档级 + 段落级分层处理
2021 ─┼─ 语义去重探索 → 基于 Embedding 的语义相似度检测
2022 ─┼─ 隐私驱动去重 → Carlini 研究推动去重标准化
2023 ─┼─ 开源流水线成熟 → RedPajama/SlimPajama 公开完整方法
2024 ─┼─ 细粒度与智能化 → FineDedup、主动学习驱动
2025 ─┴─ 当前状态：GPU 加速 + 语义融合 + 自适应策略成为主流

2. 六种方案横向对比

3. 技术细节对比

4. 选型建议

5. 多样性增强方案对比

第四部分：精华整合

1. The One 公式

用一个"悖论式等式"概括大模型训练数据去重与多样性增强的核心本质：

核心洞见： 去重的本质不是"删得越多越好"，而是在冗余消除与信息保留之间寻找最优平衡点。

2. 一句话解释

大模型训练数据去重就像整理图书馆：把内容几乎相同的书合并成一本（去重），同时确保书架上既有科普读物也有专业著作（多样性），这样读者（模型）才能既高效学习又知识全面。

3. 核心架构图

原始语料 → [MinHash 签名] → [LSH 候选检索] → [相似度判定] → [多样性聚类] → 精炼语料
               ↓                ↓               ↓              ↓
          (128 维签名)     (O(1) 查找)    (Jaccard>0.8?)   (熵最大化)
               ↓                ↓               ↓              ↓
           存储 -80%        提速 100x        精度 95%       分布均衡

4. STAR 总结

5. 理解确认问题

问题： 假设你正在为一个 7B 参数模型构建预训练语料，原始数据包含 500GB 网页爬取内容。经过 MinHash+LSH 去重后，你发现去重率达到 65%，但模型在下游任务上的表现反而比用原始数据训练下降了 3%。请分析可能的原因，并提出改进方案。

参考答案要点：

1. 可能原因：

   • 过度去重：阈值设置过低（如 Jaccard>0.6），导致语义不同但词汇相似的文档被误删
   • 重要高频内容被删除：某些领域（如代码、数学公式）天然具有高重复性，但对学习至关重要
   • 多样性破坏：去重后数据分布偏向某一主题，缺乏均衡性

2. 改进方案：

   • 调整去重阈值：提高到 Jaccard>0.85-0.9，减少假阳性
   • 分层去重：对不同来源/类型数据采用不同策略（如代码单独处理）
   • 加入多样性约束：去重后进行聚类分析，对样本不足的类别进行补偿
   • 混合策略：引入语义去重，确保语义不同的文档即使文本相似也被保留

附录：关键资源索引

开源工具优先级

必读论文 Top 5

1. Carlini et al. (2022) - 隐私风险与去重必要性
2. SlimPajama (2023) - 完整语料构建方法
3. FineDedup (2024) - 细粒度去重前沿
4. DataComp (2023) - 数据筛选基准
5. Diversity-Aware Selection (2024) - 多样性增强方法

调研完成时间： 2026-03-18 总字数： 约 7,200 字