智能体执行轨迹异常模式自动检测技术 — 深度调研报告

调研日期: 2026-05-18 所属域: agent 调研方法: 结构化四维深度调研（概念剖析 + 行业情报 + 方案对比 + 精华整合）

第一部分：概念剖析

1. 定义澄清

通行定义

智能体执行轨迹异常模式自动检测（Automatic Anomaly Detection in Agent Execution Trajectories）是指：在 LLM-based Agent 执行多步骤任务的过程中，通过分析其每一步的动作序列（包括工具调用、LLM 推理、状态转换等），自动识别出偏离预期或导致失败的行为模式。其核心关注点是过程异常（procedural anomaly），而非仅对最终输出结果做质量评估。

常见误解

边界辨析

与以下相邻概念的核心区别：

• LLM 输出安全检测：检测单轮输出的有害内容，不关注多步骤执行过程
• Agent 评估（Eval）：对完整任务的成功率做统计评估，不要求实时定位到异常步骤
• 传统异常检测（如日志异常检测）：检测系统级指标偏离，不涉及语义级推理步骤的正确性
• 对抗性攻击检测：检测故意输入的恶意内容，而轨迹异常检测也涵盖非攻击场景下的内在风险

2. 核心架构

┌──────────────────────────────────────────────────────┐
│             Agent 执行轨迹异常检测系统架构              │
├──────────────────────────────────────────────────────┤
│                                                      │
│  Agent 执行过程                                        │
│  ┌─────┐   ┌─────┐   ┌─────┐   ┌─────┐             │
│  │Step1│──▶│Step2│──▶│Step3│──▶│Step4│──▶ ...       │
│  └──┬──┘   └──┬──┘   └──┬──┘   └──┬──┘             │
│     │         │         │         │                  │
│     ▼         ▼         ▼         ▼                  │
│  ┌─────────────────────────────────────────┐         │
│  │        轨迹采集层 (Trace Collector)      │         │
│  │  捕获动作、工具调用、推理、状态变化       │         │
│  └────────────────┬────────────────────────┘         │
│                   │                                   │
│                   ▼                                   │
│  ┌─────────────────────────────────────────┐         │
│  │        特征提取层 (Feature Extractor)     │         │
│  │  ├ 语义特征: 动作嵌入、工具参数、LLM输出   │         │
│  │  ├ 结构特征: 轨迹几何、工具调用多样性      │         │
│  │  └ 时序特征: 步间变化、重复模式           │         │
│  └────────────────┬────────────────────────┘         │
│                   │                                   │
│                   ▼                                   │
│  ┌─────────────────────────────────────────┐         │
│  │        异常判定层 (Anomaly Detector)     │         │
│  │  ├ 规则引擎: 不变量检查、顺序约束验证      │         │
│  │  ├ 统计模型: 隔离森林、自编码器、EWMA     │         │
│  │  └ LLM Judge: 语义级异常分类和根因定位   │         │
│  └────────────────┬────────────────────────┘         │
│                   │                                   │
│                   ▼                                   │
│  ┌─────────────────────────────────────────┐         │
│  │        告警与恢复层 (Alert & Recovery)   │         │
│  │  异常分类 → 根因定位 → 告警 → 回滚/重试  │         │
│  └─────────────────────────────────────────┘         │
│                                                      │
└──────────────────────────────────────────────────────┘

各组件职责说明：

• 轨迹采集层：实时捕获 Agent 每步的动作（工具调用、LLM 输出、环境状态），可基于回调（LangChain Callback）或 eBPF 零侵入采集
• 特征提取层：将原始轨迹转化为可计算的数值/向量特征，包括语义嵌入（BERT 编码）、结构指标（工具调用熵、轨迹曲率）和时序特征
• 异常判定层：综合多种检测方法——规则引擎用于确定性违规，统计模型用于分布外检测，LLM Judge 用于复杂语义异常的根因分类
• 告警与恢复层：输出异常类型（10 分类）、异常步骤定位、严重级别，触发自动恢复机制（回滚到安全状态或重试失败步骤）

3. 数学形式化

公式 1：轨迹形式化定义

设一个 Agent 执行轨迹为 $T = \{s_1, a_1, o_1, s_2, a_2, o_2, \dots, s_n\}$，其中：

• $s_i$ 为第 $i$ 步时 Agent 的状态（包含 LLM 内部状态和工具调用状态）
• $a_i$ 为第 $i$ 步的动作（工具调用或自然语言输出）
• $o_i$ 为第 $i$ 步后的环境观察结果

异常检测任务：判断是否存在 $j \in [1, n]$ 使得 $P(\text{success} \mid T_{1:j})$ 显著低于正常阈值。

这一定义将异常检测转化为"从轨迹前缀预测最终任务成功概率"的问题。

公式 2：工具调用多样性指标（CAUM）

其中 $c_k(t)$ 是到步骤 $t$ 为止第 $k$ 类工具被调用的频次。$D(t)$ 趋近 0 表示工具使用高度单一化（可能的异常信号——循环调用同一工具）。

工具调用多样性是检测 Agent 陷入循环或停滞的关键结构信号。

公式 3：风险聚合函数（TRACER）

其中 $\text{Surprisal}$ 衡量 LLM 输出中"意外"信息的比例，$\text{Repetition}$ 衡量语义/词汇的重复程度，$\text{CoherenceGap}$ 衡量动作是否符合工具调用规范。

TRACER 将多维异常信号聚合成单一风险分数，并使用尾部风险函数（Tail-Risk）聚焦于最异常的轨迹段。

公式 4：在线审计的止损效率

其中 $\text{Cost}$ 可定义为 token 消耗、API 调用费用或时间。StepShield (2025) 报告平均成本节约 77.6%。

在线异常检测的核心价值在于"提前止损"——越早检测到异常，节省的计算成本越高。

公式 5：行为距离度量（ProjGuard）

其中 $\phi(\cdot)$ 是将轨迹 $T$ 投影到低维行为空间的可学习映射函数。当 $\delta > \theta$ 时触发告警。

通过低维投影将高维轨迹数据压缩为可比较的标量信号，实现轻量级在线监控。

4. 实现逻辑（Python 伪代码）

class AgentTrajectoryAnomalyDetector:
    """
    核心类：融合多种检测策略的智能体轨迹异常检测器。
    体现了该领域的核心抽象——多层级、多信号融合的检测架构。
    """
    def __init__(self, config):
        # 结构检测器：基于工具调用多样性和轨迹几何特征
        self.structural_monitor = StructuralAnomalyDetector(
            diversity_threshold=config.diversity_min,
            regime_classifier_model="caum-regime-v1"
        )
        # 语义检测器：基于 LLM Judge 的异常分类
        self.semantic_monitor = SemanticAnomalyDetector(
            judge_model=config.judge_model,  # e.g., Qwen2.5-7B
            taxonomy=config.failure_taxonomy  # e.g., AgentRx 10-category
        )
        # 统计检测器：基于流的分布外检测
        self.statistical_monitor = StreamingAnomalyDetector(
            method="isolation_forest",
            window_size=config.window_size,
            threshold=config.anomaly_threshold
        )
        # 轨迹存储
        self.trajectory_buffer = TrajectoryBuffer(max_length=config.max_steps)
        self.anomaly_log = []

    def ingest_step(self, step_data: dict) -> dict:
        """
        核心运行方法：每步调用一次，实时处理新的执行步骤。
        返回当前步的异常检测结果。
        """
        # 1. 记录轨迹
        self.trajectory_buffer.append(step_data)

        # 2. 多维度特征提取
        structural_features = self._extract_structural_features(self.trajectory_buffer)
        semantic_features = self._extract_semantic_features(step_data)
        statistical_features = self._extract_statistical_features(self.trajectory_buffer)

        # 3. 并行检测（三种检测器独立运行）
        structural_result = self.structural_monitor.evaluate(
            features=structural_features,
            trajectory=self.trajectory_buffer
        )
        semantic_result = self.semantic_monitor.evaluate(
            current_step=step_data,
            trajectory_history=self.trajectory_buffer
        )
        statistical_result = self.statistical_monitor.evaluate(
            features=statistical_features
        )

        # 4. 综合判定（多数投票/加权融合）
        detection = self._ensemble_detection(
            structural_result,
            semantic_result,
            statistical_result
        )

        # 5. 如果检测到异常，记录并尝试定位根因步骤
        if detection.is_anomaly:
            root_cause_step = self._localize_root_cause(
                trajectory=self.trajectory_buffer,
                anomaly_type=detection.anomaly_type
            )
            self.anomaly_log.append({
                'step_index': self.trajectory_buffer.current_index,
                'anomaly_type': detection.anomaly_type,
                'confidence': detection.confidence,
                'root_cause_step': root_cause_step,
                'signals': {
                    'structural': structural_result,
                    'semantic': semantic_result,
                    'statistical': statistical_result
                }
            })

        return detection.to_dict()

    def _extract_structural_features(self, trajectory):
        """提取结构特征：工具多样性、轨迹曲率、阶段转换频率"""
        return {
            'tool_diversity': self._compute_tool_entropy(trajectory),
            'trajectory_curvature': self._compute_action_angle_change(trajectory),
            'regime_transitions': self._detect_regime_changes(trajectory)
        }

    def _localize_root_cause(self, trajectory, anomaly_type):
        """定位导致异常的根因步骤"""
        # 基于 AgentForesight 的两阶段定位方法
        candidate_steps = self._step_wise_causal_analysis(trajectory)
        refined_step = self._refine_with_reverse_verification(candidate_steps)
        return refined_step

5. 性能指标

6. 扩展性与安全性

水平扩展

• 多 Agent 并行审计：检测器可作为独立微服务部署，通过消息队列接收多个 Agent 的轨迹流，支持横向扩缩容
• 联邦检测：FedMon 范式下，各节点运行本地检测器，仅共享加密后的异常摘要，减少带宽开销 60%
• 分布式轨迹存储：采用 Kafka + 时序数据库架构，支持日处理百万级轨迹

垂直扩展

• 单节点优化上限：轻量结构检测（如 CAUM）可在 CPU 上实时运行，而 LLM Judge 检测需要 GPU 加速
• 模型蒸馏：将大模型老师（如 Qwen-72B）蒸馏为紧凑学生模型（如 7B），吞吐量提升 10 倍
• 批量推理优化：对累积轨迹进行批量语义分析而非逐步分析，可提升吞吐但牺牲延迟

安全考量

第二部分：行业情报

1. GitHub 热门项目

注：部分项目较新，Stars 数据尚未公开显示；"--"表示暂未检索到公开发布的 Stars 数据。

2. 关键论文（12 篇）

论文选择策略说明

• 比重分配：经典奠基工作（TrajAD, TRACER, GUARDIAN）约占 35%，最新 SOTA（AgentForesight, ProjGuard, HINTBench）约占 65%
• 来源分布：顶级会议（NeurIPS 2025, ICML 2026）2 篇，arXiv 高影响力预印本 8 篇，期刊 1 篇，工业界报告 1 篇
• 覆盖场景：单智能体（TrajAD, AgentRx）、多智能体（AgentForesight, GUARDIAN, SentinelAgent）、系统安全（TraceAegis, ProjGuard）

3. 系统化技术博客（12 篇）

4. 技术演进时间线

2024 ─┬─ Agent 应用爆发，但"silent failure"成为核心痛点
       │   传统 LLM 安全方案（输入/输出过滤）暴露局限性
       │
2025上半 ─┼─ GUARDIAN (NeurIPS 2025)：首次将时序图用于多Agent异常检测
       │    SentinelAgent：图结构三级异常检测
       │    TraceAegis：层次化+行为规则约束
       │
2025下半 ─┼─ AMDM：自适应多维监控，5轴实时检测
       │    StepShield：时序AI安全基准，77.6%成本节约
       │    AgentDiagnose (EMNLP 2025)：5维度能力诊断工具
       │    LangSmith Insights：工业级轨迹自动聚类分析
       │
2026初 ──┼─ TrajAD：明确定义"轨迹异常检测"任务
       │    AgentRx (Microsoft)：10分类故障诊断
       │    TRACER (ICML 2026)：尾部风险聚合方法
       │    HINTBench：首次定义"内在风险"（非攻击场景）
       │
2026中 ──┼─ ProjGuard：低维投影轻量在线监控
       │    AgentForesight：7B在线审计器超越GPT-4.1
       │    eBPF + 联邦学习 + 意图漂移检测
       │
2026下半 ─┴─ 当前状态：从"事后分析"全面转向"在线审计"，
               从"内容读取"转向"结构分析"，
               从"通用模型"转向"专用小型审计模型"。
               核心挑战：内在风险定位精度、跨域泛化能力、工业部署标准化。

第三部分：方案对比

1. 历史发展时间线

2024 ─┬─ 规则驱动方法：人工编写不变量/约束（如Causal Precedence Evaluator）
       │   特点：高精度但低覆盖，无法泛化到未见场景
2024 ─┼─ 统计基线方法：隔离森林、自编码器、EWMA
       │   特点：对结构异常有效，但对语义异常无识别能力
2025 ─┼─ LLM Judge 方法：用GPT-4等大模型直接判断轨迹异常
       │   特点：灵活但成本高、延迟大、零样本定位能力差（TrajAD证实）
2025 ─┼─ 图结构方法：GUARDIAN / SentinelAgent 用时序图建模Agent交互
       │   特点：适合多Agent场景，但单Agent场景优势不明显
2025 ─┼─ 结构观测方法：CAUM 不读取payload，仅用工具多样性+几何特征
       │   特点：极致轻量、隐私友好，但无法识别语义级异常
2025 ─┼─ 多维融合方法：AMDM 综合5轴特征，加权判定
       │   特点：全面但配置复杂，需要多维度准确数据
2026 ─┴─ 专用在线审计器：AgentForesight + ProjGuard
       │   特点：7B紧凑模型+RL训练，同时兼顾轻量和深度
       │   当前状态：专用审计器+结构观测+规则引擎的三层融合是主流趋势

2. 7 种方案横向对比

3. 技术细节对比

4. 选型建议

第四部分：精华整合

1. The One 公式

这个公式的核心洞察是：没有一种方法能独自解决所有问题。最有效的实践是将不同层次（结构和语义）和不同范式的检测能力有机组合，同时清醒认识到每一种方法在跨域部署时都面临泛化挑战——HINTBench 证明现有 guard 模型在内在风险场景下的迁移性很差。

2. 一句话解释

就像飞机驾驶舱的警报系统一样，智能体执行轨迹异常检测技术实时监控AI助手在执行任务过程中的每一步决策和动作，一旦发现它"跑偏"（进入循环、误用工具、偏离目标），立即发出警报并定位出错的位置，防止AI在错误的道路上越走越远。

3. 核心架构图

Agent执行步骤流         检测流水线                   输出
┌─────┐   ┌─────┐
│Step1 │──▶│Step2 │──▶...
└──┬──┘   └──┬──┘
   │         │      ┌─────────────────┐
   │         │      │ ① 结构观测层    │  ← 无Payload分析
   │         └──────│   工具多样性    │
   │                │   轨迹几何      │──▶ 80%轨迹正常 → 放行
   │                │   阶段转换      │
   │                └────────┬────────┘
   │                         │ 20%疑点
   │                ┌────────▼────────┐
   │                │ ② 深度分析层    │  ← 语义分析
   │                │   因果溯源      │──▶ 异常类型 + 根因步骤
   │                │   RL审计器      │
   │                └────────┬────────┘
   │                         │
   │                ┌────────▼────────┐
   │                │ ③ 合规判定层    │  ← 规则引擎
   └────────────────│   不变量检查    │──▶ 最终决策 + 告警级别
                    │   约束验证      │
                    └─────────────────┘

4. STAR 总结

Situation（背景+痛点）

2024-2026 年，LLM-based Agent 从实验走向生产，Coding Agent、Browser Agent、Multi-Agent 协作系统在工业界广泛部署。然而，Agent 的非确定性行为和复杂多步骤执行带来了全新的可靠性挑战：Agent 可能在某个中间步骤"悄悄"出错（silent failure），而传统基于输入/输出过滤的安全方案完全无法捕获这类过程异常。用户报告"有时它能完美完成任务，有时却在同一个问题上反复循环"——这种不确定性让企业难以信任 Agent 执行关键业务。LangSmith 数据显示，企业日采集 10 万+条轨迹但大多无法有效分析，诊断机制严重缺失。

Task（核心问题）

核心问题是如何实时、准确、低成本地检测 Agent 执行过程中的异常行为，具体要求包括：① 在轨迹执行过程中每步都能实时判定（而非事后分析）；② 定位到具体的异常步骤和根因（而非仅标记"失败"）；③ 在保持高准确率的同时控制计算成本（使用 7B 而非 405B 模型）；④ 在不读取敏感 payload 的情况下检测结构异常（保护隐私）；⑤ 跨域泛化——同一检测器在编码 Agent、浏览器 Agent、多 Agent 协作等不同场景中保持有效。

Action（主流方案）

该领域在 2025-2026 年经历了快速演进：① 规则驱动法：人工定义不变量和顺序约束（如 Causal Precedence Evaluator），精度高但覆盖有限；② 结构观测法（CAUM, 2026）：仅使用工具调用多样性和轨迹几何特征，在不读取 payload 的情况下实现了 AUC=0.814 的循环/停滞检测，成本极低；③ 图结构方法（GUARDIAN, NeurIPS 2025）：将多Agent协作建模为时序图，检测幻觉放大和错误传播；④ 专用审计模型（AgentForesight, 2026）：训练 7B 紧凑模型，采用两阶段强化学习（BPPO + GRPO），在线审计性能超越 GPT-4.1 达 +19.9%，步骤定位精度提升 3 倍，误报率仅 2.37%。同时，基准测试生态逐步建立：TrajBench（轨迹异常检测）、HINTBench（内在风险）、AFTraj-2K（多Agent在线审计）等为公平比较奠定了基础。

Result（效果+建议）

当前成果：最先进的 AgentForesight-7B 在 Exact-F1 达到 66.44（超 GPT-4.1 近 20 个百分点），StepShield 报告在线检测可节约 77.6% 的计算成本。但仍有局限：内在风险定位精度 (Strict-F1<35%, HINTBench)、跨域泛化能力是核心瓶颈。

实操建议：

• 生产部署采用三层架构：结构观测（低成本的初筛层）→ 专用审计器（高精度的分析层）→ 规则引擎（合规判定层），兼顾成本与效果
• 避免单独依赖一种方法：没有万能的检测器——不同的异常类型需要不同的检测手段
• 尽早建立轨迹标注流程：高质量标注数据是训练专用审计器的最大瓶颈，建议从工具调用日志中半自动生成训练样本
• 关注 eBPF + OpenTelemetry 技术栈：2026 年的趋势是将 Agent 异常检测嵌入已有可观测性基础设施，而非另建孤岛

5. 理解确认问题

Q: 如果一个 Agent 在执行 20 步的复杂任务时，到了第 15 步才显现出结果级错误，但根因（一个错误的工具调用参数）实际发生在第 3 步。请问：为什么检测到这种"延迟显现"的异常比检测"即时显现"的异常更难？专用审计模型（如 AgentForesight）和通用大模型（如 GPT-4.1）在处理这个问题时的核心差异是什么？

参考答案：这种"延迟显现"异常之所以更难检测，是因为需要建立跨步骤的因果链——第 3 步看似正常（参数语法正确），但其影响逐级放大到第 15 步才不可收拾。通用大模型在零样本模式下缺乏对这种"因果时间延迟"的先验知识，且容易受"近因效应"影响偏向关注最近的步骤。专用审计模型（如 AgentForesight）通过两阶段强化学习（BPPO + GRPO）专门训练来建立风险预期——第一阶段学习"失败边界模式"，第二阶段精确定位步骤，从而能够在第 3 步错误刚发生时就发出预警（所谓"在线审计"），而不是等到第 15 步才做事后归因。这就是 HINTBench 中步骤定位 Strict-F1 普遍低于 35% 的原因——延迟显现的异常定位是该领域的核心开放挑战。

报告生成日期: 2026-05-18 调研方法: 结构化四维深度调研（概念剖析 + 行业情报 + 方案对比 + 精华整合） 数据来源: arXiv, GitHub, Hugging Face, 顶级会议 (NeurIPS, ICML, EMNLP), 技术博客 (LangChain, ARMO, IEEE, 凤凰网等) 总字数: ~8,000 字