大模型训练损失函数设计与优化方法 —— 深度调研报告

调研日期：2026-05-19 所属领域：大模型训练 报告类型：技术深度调研（四维度全分析）

第一部分：概念剖析

1.1 定义澄清

通行定义

大模型训练损失函数是衡量模型预测分布与真实分布之间差异的数学函数，其核心作用是提供可微分的优化目标，指导反向传播中的梯度更新。在大语言模型（LLM）的预训练中，最主流的损失函数是因果语言建模的交叉熵损失（Causal LM Cross-Entropy Loss）：给定前文 token 序列 $x_{<t}$，模型需要最大化正确下一个 token $x_t$ 的对数概率。

常见误解

1. 误解：交叉熵损失是唯一适用于大模型的损失函数 事实：虽然交叉熵是预训练阶段的标准选择，但微调和对齐阶段广泛使用 DPO Loss、PPO-Clip Loss、GRPO Loss、Focal Loss 等多种替代方案。2025-2026 年已有大量研究表明 Harmonic Loss、Number Token Loss 等替代方案在特定场景下优于交叉熵。

2. 误解：损失函数值越低，模型性能越好 事实：训练损失下降并不总是对应下游任务性能提升。过低的训练损失可能意味着过拟合（记忆而非泛化），且 Neural Collapse 现象表明不同损失函数在充分收敛后可能产生等价的特征表示。

3. 误解：损失函数只参与反向传播，不影响推理阶段 事实：损失函数的设计（如是否使用标签平滑、是否对特定 token 加权）会直接影响模型学到的概率分布特性，进而影响推理时的采样质量和多样性。

边界辨析

1.2 核心架构

┌─────────────────────────────────────────────────────────────┐
│              大模型训练损失函数系统架构                        │
├─────────────────────────────────────────────────────────────┤
│                                                             │
│  输入序列 → [Token Embedding] → [Transformer Layers]        │
│      ↓                                                      │
│  [LM Head / Unembedding]  →  logits (V维向量)               │
│      ↓                                                      │
│  ┌─────────────────────────────────────────────────┐        │
│  │              损失计算层                            │        │
│  │                                                   │        │
│  │  ┌──────┐    ┌──────────┐    ┌─────────────┐     │        │
│  │  │Softmax│ →  │负对数似然│ →  │Token加权聚合 │     │        │
│  │  └──────┘    └──────────┘    └─────────────┘     │        │
│  │      ↑                              ↑            │        │
│  │  ？替代选择:                    可选组件:         │        │
│  │  Harmonic Loss                   Focal γ权重     │        │
│  │  Number Token Loss               MiLe熵权重      │        │
│  │  f-Divergence Loss              标签平滑         │        │
│  └─────────────────────────────────────────────────┘        │
│      ↓                                                      │
│  [反向传播] → [优化器(AdamW)] → 参数更新                    │
│                                                             │
│  辅助损失（可选）：                                          │
│  ┌──────────────────────────────────────────────────┐       │
│  │ KL散度惩罚(对齐阶段) │ 辅助Z-loss(稳定性) │ 路由损失  │       │
│  └──────────────────────────────────────────────────┘       │
└─────────────────────────────────────────────────────────────┘

各组件说明：

1.3 数学形式化

公式 1：标准交叉熵损失（Causal LM）

对所有位置 $t$ 的正确 token 的对数概率取平均。$h_t$ 是最后一层隐藏状态，$e_v$ 是 token $v$ 的嵌入向量，$\mathcal{V}$ 是词表。这是 LLM 预训练中最核心的优化目标。

公式 2：DPO 偏好优化损失

核心思想：在不依赖显式奖励模型的情况下，通过偏好对（chosen/rejected）直接优化策略。$\beta$ 控制对参考策略的偏离程度，$\sigma$ 是 Sigmoid 函数。这是对齐阶段最流行的损失函数之一。

公式 3：PPO-Clip 策略梯度损失（带 KL 惩罚）

其中 $r_t(\theta) = \pi_\theta(a_t|s_t) / \pi_{\theta_{\text{old}}}(a_t|s_t)$ 是重要性采样比率。裁剪机制防止单步更新过大破坏策略稳定性，KL 惩罚项约束策略不偏离参考模型太远。

公式 4：GRPO 组相对优势估计

对同一 prompt 采样 $G$ 个响应，用组内 $G$ 个奖励的均值和标准差对每个响应进行归一化。无需训练值函数网络（critic），大幅降低内存开销。DeepSeek-R1 的核心技术。

公式 5：Cut Cross-Entropy 内存优化

标准交叉熵需物化 $B \times V$ 的 logit 矩阵（$B$ 为 token 数，$V$ 为词表大小），CCE 通过自定义 CUDA kernel 在 flash 内存中即时计算 log-sum-exp，将损失计算的内存占用从 $O(B \times V)$ 降至 $O(B)$。对 Gemma 2 2B 而言，从 24GB 降至 1MB。

1.4 实现逻辑（Python 伪代码）

class CausalLMLoss:
    """
    因果语言建模损失计算的核心抽象。
    支持标准交叉熵及各种扩展变体。
    """
    def __init__(self, config):
        self.vocab_size = config.vocab_size
        self.label_smoothing = config.get("label_smoothing", 0.0)
        self.loss_type = config.get("loss_type", "cross_entropy")
        # 可选：Focal Loss 参数
        self.focal_gamma = config.get("focal_gamma", 0.0)
        # 可选：MiLe Loss 的熵加权
        self.use_entropy_weight = config.get("use_entropy_weight", False)

    def forward(self, logits, labels):
        """
        logits: [batch_size, seq_len, vocab_size]
        labels: [batch_size, seq_len]  (pad token 用 -100 掩码)
        """
        # 1. 将 logits 展平为 [B*S, V]，labels 展平为 [B*S]
        flat_logits = logits.view(-1, self.vocab_size)
        flat_labels = labels.view(-1)

        # 2. 计算交叉熵（核心操作）
        if self.loss_type == "cross_entropy":
            loss_per_token = F.cross_entropy(
                flat_logits, flat_labels,
                reduction="none",
                label_smoothing=self.label_smoothing
            )

        elif self.loss_type == "focal":
            # Focal Loss: 降低置信度高的易分样本的权重
            ce_loss = F.cross_entropy(flat_logits, flat_labels, reduction="none")
            probs = F.softmax(flat_logits, dim=-1)
            pt = probs.gather(1, flat_labels.unsqueeze(1)).squeeze(1)
            focal_weight = (1 - pt) ** self.focal_gamma
            loss_per_token = focal_weight * ce_loss

        elif self.loss_type == "mile":
            # MiLe Loss: 基于预测分布的熵动态加权
            ce_loss = F.cross_entropy(flat_logits, flat_labels, reduction="none")
            probs = F.softmax(flat_logits, dim=-1)
            entropy = -torch.sum(probs * torch.log(probs + 1e-8), dim=-1)
            # 高熵 → 难样本 → 更高权重
            weight = 1.0 + entropy / math.log(self.vocab_size)
            loss_per_token = weight * ce_loss

        # 3. 掩码 padding token，只对有效 token 求平均
        mask = (flat_labels != -100).float()
        loss = (loss_per_token * mask).sum() / mask.sum()

        return loss


class DPOLoss:
    """
    Direct Preference Optimization 损失函数。
    在不训练奖励模型的情况下直接优化偏好。
    """
    def __init__(self, beta=0.1):
        self.beta = beta

    def forward(self, policy_chosen_logps, policy_rejected_logps,
                ref_chosen_logps, ref_rejected_logps):
        """
        计算 DPO 损失。
        输入为 chosen/rejected 响应的对数概率（已按序列长度求和）。
        """
        # 对数概率比率差
        log_ratio_chosen = policy_chosen_logps - ref_chosen_logps
        log_ratio_rejected = policy_rejected_logps - ref_rejected_logps

        # DPO 核心公式
        logits = self.beta * (log_ratio_chosen - log_ratio_rejected)
        loss = -F.logsigmoid(logits).mean()

        return loss

1.5 性能指标

1.6 扩展性与安全性

水平扩展

• 数据并行：损失计算在各 GPU 上独立进行，只需 All-Reduce 同步梯度，是标准水平扩展方式
• 张量并行/序列并行：LM Head 和损失计算涉及词表维度的矩阵乘法，在张量并行下需切分词表维度并做 All-Gather
• 流水线并行：损失计算位于最后一层，仅在最后一个流水线阶段执行，不影响前向效率
• Ring Attention + DPO：需注意有效 batch size 的变化——启用 Ring Attention 会改变数据并行度，需相应调整微批大小以保持等效训练动态

垂直扩展

• 单节点优化上限：LM Head 的显存占用随词表大小线性增长（词表扩展如 GPT-4 的 ~100K token），CCE 可缓解但计算量不变
• Flash Attention + CCE：可组合使用，将注意力计算和损失计算都留在 flash 内存中，最大化单卡效率
• 梯度检查点：对损失计算回退前向激活以减少显存，但对 CCE 效果有限（CCE 本身已不物化大矩阵）

安全考量

• Reward Hacking：对齐阶段（PPO/GRPO）中，策略可能学会利用奖励函数的漏洞而非真正改进。解决方案：合理设置 KL 惩罚系数
• 长度劫持（Length Hacking）：GRPO 的 token 级平均可能导致模型偏好生成长序列。解决方案：使用 Dr. GRPO 中的固定除数而非序列长度
• 记忆化 vs. 泛化：过低的交叉熵损失可能意味着模型过度记忆训练数据（潜在隐私风险）。Goldfish Loss 通过随机丢弃 token 来缓解此问题
• 数值稳定性：Softmax + 大 logits 可能导致数值溢出。常用方案：使用 log_softmax + log-sum-exp 的数值稳定实现；或添加辅助 Z-loss 防止 logits 无界增长

第二部分：行业情报

2.1 GitHub 热门项目

以下是截至 2026 年 5 月，与大模型损失函数设计和优化相关的重要开源项目：

2.2 关键论文（12 篇）

高影响力经典论文（约 40%）

最新 SOTA 论文（约 60%）

2.3 系统化技术博客（10 篇）

2.4 技术演进时间线

2017 ── Transformer (Vaswani et al.)
       └── 确立交叉熵 + Softmax 为 LM 训练的标准范式

2020 ── GPT-3 + Scaling Laws
       └── 揭示 loss 与模型/数据规模的幂律关系，推动大模型竞赛

2022 ── InstructGPT (RLHF)
       └── PPO + KL 惩罚成为对齐阶段主流范式

2023 ── DPO (Direct Preference Optimization)
       └── 颠覆式创新：无需奖励模型，直接优化偏好

2024 ── MiLe Loss · DeepSeek GRPO · Neural Collapse 视角
       ├── 动态熵加权损失引入 token 级自适应
       ├── GRPO 取消 critic 网络，大幅降低对齐训练成本
       └── 理论证明：充分训练后各类损失函数等价

2025 ── CCE · NTL · Harmonic Loss · REINFORCE++ · Liger Kernel
       ├── Apple CCE：将损失显存从 24GB 降至 1MB
       ├── Number Token Loss：数字 token 回归式损失提升数学推理
       ├── Harmonic Loss：替代 Softmax，训练可解释模型
       ├── REINFORCE++：无 critic 稳定对齐，超越 GRPO
       └── Liger Kernel：融合线性交叉熵层加速训练

2026 ── ff-TB Loss Family · G-Loss · Loss Curve Collapse
       ├── f-divergence 损失函数家族统一框架
       ├── G-Loss：图引导的全局语义结构损失
       └── Loss 曲线坍缩作为训练质量诊断工具

当前状态：损失函数设计从"单一交叉熵统治"进入"多元化定制时代"，不同训练阶段
预训练/微调/对齐/数学推理使用专门优化的损失函数。内存效率和计算效率的优化
（CCE/Liger Kernel）正在将损失计算成本推向可忽略的水平。

第三部分：方案对比

3.1 历史发展时间线

          ┌── 2017-2020: 交叉熵 时代 ──┐
          │  Transformer 确立交叉熵标准   │
          │  Scaling Laws 验证损失幂律    │
          └──────────┬──────────────────┘
                     │
          ┌── 2022-2023: RLHF/对齐 突破 ──┐
          │  PPO-KL (InstructGPT)         │
          │  DPO (Stanford)               │
          └──────────┬──────────────────┘
                     │
    ┌── 2024-2025: 百花齐放 时代 ──────────┐
    │  GRPO (DeepSeek) → 无 critic 对齐    │
    │  MiLe Loss → 动态熵加权 token        │
    │  NTL → 数字 token 回归损失           │
    │  Harmonic Loss → 替代 Softmax       │
    │  CCE → 损失显存革命性降低             │
    │  REINFORCE++ → 无 critic + 更好的 KL │
    └──────────┬──────────────────────────┘
               │
    ┌── 2026+: 统一理论 阶段 ──────────────┐
    │  ff-TB f-divergence 统一框架         │
    │  Loss Curve Collapse 诊断标准        │
    │  AI 自动化损失函数设计                │
    └────────────────────────────────────┘

3.2 7 种方案横向对比

方案一：标准交叉熵（Causal CE）

方案二：Focal Loss

方案三：DPO 偏好优化损失

方案四：PPO with KL Penalty

方案五：GRPO 组相对策略优化

方案六：Number Token Loss（NTL）

方案七：Harmonic Loss（谐波损失）

3.3 技术细节对比

3.4 选型建议

第四部分：精华整合

4.1 The One 公式

核心洞察：大模型训练损失函数的核心挑战不再是"如何设计更好的数学公式"，而是"如何在不同训练阶段为不同任务选择最合适的损失函数，并工程化地降低其计算成本"。

4.2 一句话解释

大模型的损失函数就像老师批改作业的方式——预训练时它检查每个字是否写对（交叉熵），微调时它关注模型是否学会了区分好坏回答（DPO/PPO），而最新技术让这个批改过程几乎不消耗额外内存（CCE），甚至让模型能感知数字之间的数值关系（NTL）。

4.3 核心架构图

预训练阶段：
    输入 → [Transformer] → [Softmax + CE] → 梯度更新
                                ↓
                        困惑度（Perplexity）

微调阶段（SFT）：
    输入 → [Transformer] → [CE with Response Masking] → 梯度更新
                                ↓
                        只对回答部分计算损失

对齐阶段（RLHF）：
    输入 → [策略模型] → 生成响应
              ↓
    奖励/偏好信号 → [DPO/PPO/GRPO Loss] → 梯度更新
              ↓
    KL 散度惩罚 ← [参考模型]（防止偏离太远）

4.4 STAR 总结

4.5 理解确认问题

问题：如果预训练阶段将标准交叉熵替换为 Number Token Loss，会对模型产生什么影响？何时应该这么做？

参考答案：

• 影响：NTL 仅在数字 token 位置额外施加 Lp 范数或 Wasserstein 回归损失。其效果是让模型感知数字的数值距离（如 $6$ 远离 $5$ 比 $9$ 更"接近"正确预测），从而在数学推理任务上提升准确率。
• 何时使用：对于通用 LLM 预训练，NTL 作为 CE 的轻量补充（约 1% 额外计算量）是无害有益的。但对于纯文本模型（如对话模型），数字 token 占比较低，收益有限。最优策略是：通用预训练用 CE，在数学领域的继续预训练或微调阶段加入 NTL。

附录：参考文献

1. Vaswani et al., "Attention Is All You Need", NeurIPS 2017
2. Brown et al., "Language Models are Few-Shot Learners", NeurIPS 2020
3. Ouyang et al., "Training language models to follow instructions", NeurIPS 2022
4. Rafailov et al., "Direct Preference Optimization", NeurIPS 2023
5. Wijmans et al., "Cut Your Losses in Large-Vocabulary Language Models", ICLR 2025 Oral
6. Zausinger et al., "Regress, Don't Guess (Number Token Loss)", ICML 2025
7. Su et al., "MiLe Loss: Entropy-Weighted Loss for LLMs", NAACL 2024 Findings
8. Hu, "REINFORCE++: A Simple and Efficient Approach for Aligning LLMs", 2025
9. Baek et al., "Harmonic Loss Trains Interpretable AI Models", NeurIPS 2025
10. ff-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs, arXiv:2605.15417, 2026
11. G-Loss: Graph-Guided Fine-Tuning of Language Models, arXiv:2604.25853, 2026
12. Scaling with Collapse: Efficient and Predictable Training of LLM Families, Cerebras, 2026
13. Terven et al., "A Comprehensive Survey of Loss Functions and Metrics in Deep Learning", AIR 2025
14. LLaMA-Factory: hiyouga/LLaMA-Factory, GitHub, ~71K Stars
15. OpenRLHF: OpenLLMAI/OpenRLHF, GitHub, ~15K+ Stars
16. Cut Cross-Entropy: apple/ml-cross-entropy, GitHub, ~2K+ Stars

报告声明：本报告基于 2026 年 5 月公开可查的论文、GitHub 项目和博客信息编写。Star 数量为近似值，实际数值可能随社区动态变化。选型建议中的成本估算基于典型云 GPU 租赁价格，实际成本因具体配置而异。