基于强化学习的期权做市商策略优化 —— 深度技术调研报告

调研日期: 2026-05-18 所属域: quant+agent 调研方法: 网络数据采集（GitHub、arXiv、学术期刊、技术博客）+ 结构化分析

第一部分：概念剖析

1.1 定义澄清

通行定义

基于强化学习（RL）的期权做市商策略优化，是指利用强化学习框架（包括价值函数逼近、策略梯度、Actor-Critic等方法），在期权市场中学习最优做市报价策略和对冲策略的过程。做市商同时提交买入和卖出报价，通过赚取买卖价差获利，同时承担库存风险——在期权市场中这一风险尤为复杂，因为期权价格非线性依赖于标的资产价格、波动率、时间衰减等多个因子。RL方法通过将做市问题建模为马尔可夫决策过程（MDP），让智能体在与市场环境的交互中逐步学习能够最大化风险调整后收益的策略。

常见误解

1. "RL做市策略就是自动赚钱机器" —— 实际上，RL做市策略的核心是风险-收益权衡，在高度竞争的环境中，RL策略可能因过拟合、概念漂移或对手方博弈而表现不佳。
2. "RL完全替代了Black-Scholes等传统定价模型" —— RL是对传统模型的补充而非替代。定价模型提供基准，RL则解决执行优化、库存管理和非线性市场冲击等传统模型难以处理的动态决策问题。
3. "做市RL和通用RL没有本质区别" —— 期权做市RL面临独特挑战：高维连续动作空间（同时决定买卖报价）、非平稳市场环境、奖惩信号稀疏且噪音巨大、需要满足无套利约束。
4. "期权做市与股票做市策略相同" —— 期权做市多了一个关键的"希腊字母管理"维度（Delta、Gamma、Vega等），做市商不仅管理标的库存，还需要管理波动率风险敞口。

边界辨析

1.2 核心架构

┌──────────────────────────────────────────────────────────────┐
│               RL 期权做市系统架构                              │
├──────────────────────────────────────────────────────────────┤
│                                                               │
│  市场数据输入 ──────────────────────────────────────────────┐  │
│  (LOB快照、期权链、标的行情、IV曲面)                          │  │
│                              ↓                                │  │
│  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  状态编码层 (State Encoder)                              │ │  │
│  │  • 库存状态: 标的持仓、期权持仓、希腊字母暴露             │ │  │
│  │  • 市场特征: 订单簿不平衡、价差宽度、波动率曲面特征        │ │  │
│  │  • 时序特征: 订单流强度(Hawkes)、波动率期限结构            │ │  │
│  └──────────────────────┬──────────────────────────────────┘ │  │
│                          ↓                                    │  │
│  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  RL 决策层 (Policy Network - Actor/Critic)              │ │  │
│  │  • 动作1: 买入报价(Bid Price/Spread)                    │ │  │
│  │  • 动作2: 卖出报价(Ask Price/Spread)                    │ │  │
│  │  • 动作3: 对冲比例/频率 (Hedge Ratio/Delta Target)      │ │  │
│  │  • 可选: 波动率曲面报价 (Volatility Quote)              │ │  │
│  └──────────────────────┬──────────────────────────────────┘ │  │
│                          ↓                                    │  │
│  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  执行引擎 (Execution Engine)                             │ │  │
│  │  • 订单生命周期管理 (创建/修改/撤销)                     │ │  │
│  │  • 无套利约束检查 (eSSVI 曲面校准)                      │ │  │
│  │  • 限价单簿撮合逻辑                                     │ │  │
│  └──────────────────────┬──────────────────────────────────┘ │  │
│                          ↓                                    │  │
│  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  奖励计算层 (Reward Function)                            │ │  │
│  │  • PnL 组件: 已实现价差收入 + 未实现损益                  │ │  │
│  │  • 风险惩罚: CVaR(库存风险) / 库存方差项                │ │  │
│  │  • 成本项: 手续费、买卖价差磨损、市场冲击成本             │ │  │
│  └──────────────────────┬──────────────────────────────────┘ │  │
│                          ↓                                    │  │
│  ┌─────────────────────────────────────────────────────────┐ │  │
│  │  训练与更新循环                                          │ │  │
│  │  • 经验回放缓冲区 (Replay Buffer)                        │ │  │
│  │  • 策略梯度更新 (PPO/SAC/TD3)                           │ │  │
│  │  • 环境模型更新 (针对非平稳市场)                         │ │  │
│  └─────────────────────────────────────────────────────────┘ │  │
│                                                               │
└──────────────────────────────────────────────────────────────┘

各组件职责

1.3 数学形式化

1.3.1 MDP 形式化

期权做市问题可形式化为马尔可夫决策过程 (S, A, P, R, γ)：

其中状态空间 $\mathcal{S}$ 包括库存向量 $q_t$、市场状态 $m_t$ 和波动率曲面参数 $\Sigma_t$；动作空间 $\mathcal{A}$ 包括买卖报价价差 $\delta_t^b, \delta_t^a$ 和对冲头寸 $\Delta_t^h$。

1.3.2 核心目标函数：风险调整后收益最大化

其中 $R_t$ 是每步的做市收入，$\text{CVaR}_{\alpha}$ 条件风险价值作为风险惩罚项，$\lambda$ 是风险厌恶系数。该公式体现了做市的核心权衡：最大化收益同时控制尾部风险。

1.3.3 Avellaneda-Stoikov 基准模型（RL改进起点）

做市商的保留价格和最优报价公式：

其中 $s$ 是中间价，$q$ 是净库存，$\gamma$ 是风险厌恶系数，$\sigma$ 是波动率，$\kappa$ 是订单到达率强度参数。RL方法的核心改进之一是用学习到的非线性函数替代这些闭式解，同时保持或改善其风险控制能力。

1.3.4 CVaR 条件风险价值（做市风险度量）

在期权做市中使用CVaR而非方差作为风险度量的原因：期权收益分布高度偏斜，方差无法捕捉尾部风险。CVaR关注的是最坏的 $(1-\alpha)$ 分位情况下的平均损失，直接对应做市商的止损风控需求。

1.3.5 eSSVI 无套利波动率曲面约束

其中 $x = \ln(K/S_0)$ 是价外程度，$\theta_t(T)$ 是总方差，$\varphi_t(T)$ 是波动率微笑控制函数，$\rho_t$ 是 skew 参数。该参数化保证无蝶式套利和无日历套利。在RL中集成此约束层确保做市商报价不会产生套利机会——这是RL+期权做市的最新关键进展（Zhang, 2025）。

1.4 实现逻辑（Python 伪代码）

import numpy as np
from typing import Tuple, Dict, List
from dataclasses import dataclass


@dataclass
class MarketState:
    """市场状态：包含标的行权和期权链数据"""
    spot_price: float            # 标的价格
    implied_vol_surface: np.ndarray  # IV曲面 (strike x expiry)
    order_book_imbalance: float  # 订单簿不平衡度
    spread: float                # 最优买卖价差
    inventory: Dict[str, float]  # 库存：{标的: 数量, 期权_i: 数量}


class OptionMarketMakingRL:
    """
    核心类：RL期权做市系统
    职责：
    1. 维护策略网络（Actor + Critic）
    2. 管理期权报价和对冲决策
    3. 执行训练循环
    """

    def __init__(self, config: dict):
        # 策略网络：输入状态，输出动作
        self.actor = PolicyNetwork(
            state_dim=config["state_dim"],
            action_dim=3,  # [bid_spread, ask_spread, hedge_ratio]
            hidden_dims=[256, 128]
        )
        # 价值网络：评估状态-动作对的价值
        self.critic = ValueNetwork(
            state_dim=config["state_dim"],
            hidden_dims=[256, 128]
        )
        # 无套利约束层（eSSVI参数化）
        self.no_arb_layer = ESSVISurface()
        # 经验回放缓冲区
        self.replay_buffer = ReplayBuffer(capacity=100_000)
        # 风险度量器
        self.risk_measure = CVaR(alpha=0.95)
        # 配置
        self.gamma = config.get("gamma", 0.99)
        self.lambda_risk = config.get("lambda_risk", 1.0)
        self.learning_rate = config.get("lr", 3e-4)

    def get_quotes(self, state: MarketState) -> Tuple[float, float]:
        """
        核心报价逻辑：根据当前市场状态输出最优买卖报价

        Args:
            state: 当前市场状态（含标的价、IV曲面、库存等）

        Returns:
            (bid_price, ask_price) 买卖报价
        """
        # 1. 编码市场状态为特征向量
        features = self._encode_state(state)

        # 2. Actor网络输出动作（归一化报价策略）
        action = self.actor(features)  # shape: (3,)
        bid_spread, ask_spread, hedge_delta = action

        # 3. 通过无套利约束层调整报价（确保IV曲面无套利）
        iv_adjusted = self.no_arb_layer(
            state.implied_vol_surface,
            bid_spread,
            ask_spread
        )

        # 4. 转换为实际报价价格
        mid_price = state.spot_price
        bid_price = mid_price - bid_spread * mid_price
        ask_price = mid_price + ask_spread * mid_price

        return bid_price, ask_price, hedge_delta

    def update(self, batch: List[Tuple]):
        """
        PPO风格策略更新

        1. 从经验回放中采样一批次数据
        2. 计算优势函数 A(s,a) = Q(s,a) - V(s)
        3. 使用裁剪的代理目标更新策略
        4. 使用MSE损失更新价值网络
        """
        states, actions, rewards, next_states, dones = batch

        # 计算TD目标
        with torch.no_grad():
            next_values = self.critic(next_states)
            td_targets = rewards + self.gamma * next_values * (1 - dones)

        # 更新Critic
        current_values = self.critic(states)
        critic_loss = F.mse_loss(current_values, td_targets)

        # 更新Actor (PPO clip)
        old_log_probs = self._get_log_probs(states, actions)
        new_log_probs = self._get_log_probs(states, self.actor(states))
        ratio = torch.exp(new_log_probs - old_log_probs)
        advantage = td_targets - current_values.detach()

        clip_loss = -torch.min(
            ratio * advantage,
            torch.clamp(ratio, 1 - self.eps_clip, 1 + self.eps_clip) * advantage
        )
        actor_loss = clip_loss.mean()

        # 风险调整：在损失中加入CVaR惩罚
        portfolio_pnl = self._simulate_portfolio_pnl(states, actions)
        cvar_penalty = self.risk_measure(portfolio_pnl)
        total_loss = actor_loss + critic_loss + self.lambda_risk * cvar_penalty

        # 反向传播
        total_loss.backward()
        self.optimizer.step()

    def _encode_state(self, state: MarketState) -> np.ndarray:
        """将原始市场状态编码为特征向量"""
        features = np.concatenate([
            [state.spot_price],
            [state.order_book_imbalance],
            [state.spread],
            self._compute_greeks(state),       # Delta, Gamma, Vega, Theta
            self._vol_surface_features(state), # IV曲面主成分
            [sum(state.inventory.values())],   # 净库存
        ])
        return features

1.5 性能指标

1.6 扩展性与安全性

水平扩展

• 多合约并行做市：在多个期权系列（不同行权价、到期日）上同时运行RL策略，通过共享底层特征编码网络实现参数高效扩展
• 多市场/多资产：使用参数服务器架构，每个市场部署独立Actor，共享中央Critic，支持分布式训练
• GPU加速模拟：JaxMARL-HFT等方法利用JAX的vmap/pmap实现240倍加速，支持批量环境并行模拟

垂直扩展

• 单节点优化：使用更深的Transformer编码器（替代MLP）处理长序列LOB数据；注意力机制对波动率曲面变化更敏感
• 模型合并：通过知识蒸馏将多个专精模型（不同行权价区间）合并为一个统一模型

安全考量

1. 对手方博弈风险：RL做市商可能被对手方识别策略模式并进行逆向选择攻击（Jafree et al., 2025）。对策：引入对抗性RL训练和策略随机化。
2. 市场操纵风险：RL做市商的报价行为可能被滥用来操纵市场（串谋、幌骗等）。对策：监管合规约束层，限制报价上下界。
3. 过拟合与概念漂移：RL策略在回测中表现优异但在实盘中失效。对策：域随机化训练、在线持续学习、定期重训练。
4. 模型可解释性：深度神经网络的"黑箱"特性在金融监管环境下可能不合规。对策：使用可解释性工具（SHAP、注意力权重可视化），或采用约束RL方法（如eSSVI层）保持经济语义透明。

第二部分：行业情报

2.1 GitHub 热门项目

2.2 关键论文（14篇）

2.3 系统化技术博客（10篇）

2.4 技术演进时间线

第三部分：方案对比

3.1 历史发展时间线

1964 ─┬─ Garman 做市定价理论奠基 → 定义了存货风险是做市的核心经济问题
2008 ─┼─ Avellaneda-Stoikov 闭式解 → 成为经典基准，但假设过于简化（泊松过程、线性订单到达率）
2018 ─┼─ Spooner et al. RL做市 → 首次用RL解决限价单簿做市，离散动作空间，传统RL算法
2019 ─┼─ Buehler et al. Deep Hedging → 开创深度对冲范式，深度学习+RL用于衍生品
2022 ─┼─ Deep Bellman Hedging → 无模型、无重训练、支持任意初始组合
2023 ─┼─ Fang & Xu 期权做市RL理论 → 从对冲扩展到完整的期权做市RL框架，推导高斯最优策略
2024 ─┼─ JaxMARL-HFT GPU加速 → 240倍加速使大规模RL训练成为可能
2025 ─┼─ eSSVI约束RL (Zhang) + OPHR (NeurIPS) + ARL/MA博弈 → 无套利约束、多智能体、鲁棒性三大突破
2026 ─┴─ 当前状态：RL期权做市从学术验证进入工程化阶段，约束RL(安全)+多智能体(博弈)+生产级部署(FinRL-X)三线并进

3.2 六种方案横向对比

方案A：基于AS的启发式策略 (Avellaneda-Stoikov及其扩展)

方案B：传统RL离散动作做市 (DQN/SARSA/Q-Learning)

方案C：深度RL连续动作做市 (PPO/SAC/TD3 + LOB模拟)

方案D：深度对冲RL (Deep Hedging + Pfhedge)

方案E：约束RL期权做市 (eSSVI + CVaR + 政策约束)

方案F：多智能体RL做市 (MARL + 博弈论)

3.3 技术细节对比

3.4 选型建议

3.5 技术方案选型决策树

开始
├─ 你的目标是？
│   ├─ 学习/教学 → 方案B(离散RL) + AS基准
│   ├─ 学术研究 →
│   │   ├─ 单一做市策略 → 方案C(连续DRL) + 方案E(约束RL)
│   │   └─ 市场竞争/串谋 → 方案F(MARL)
│   └─ 生产部署 →
│       ├─ 延迟敏感(<1ms) → 方案A(AS增强) + ML调参
│       ├─ 期权做市对冲 → 方案D(深度对冲) + 方案E(约束对冲)
│       └─ 全面期权做市 → 方案C(报价) + 方案E(对冲+无套利)
└─ 预算约束？
    ├─ <$1000/月 → 方案A或B
    ├─ $1000-5000/月 → 方案C或C+E混合
    └─ >$5000/月 → 方案E+F综合

第四部分：精华整合

4.1 The One 公式

这个公式总结了RL期权做市的核心心智模型：用深度学习驱动策略学习，用数学约束保证安全合规，用风险度量控制下行空间。三者的平衡决定了策略的最终表现。

4.2 一句话解释

"想象一个期权交易员同时被要求：① 决定今天报出什么价格买菜和卖菜（决定买卖价差）、② 决定持有多少蔬菜库存（仓位管理）、③ 确保不被别人举报价格离谱（无套利约束）——强化学习就是通过不断试错，自动学会这三件事的最优组合策略。"

4.3 核心架构图（简化）

市场数据(LOB+期权链+IV曲面)
       ↓
┌──────────────────────────────────────┐
│         状态编码                      │
│  [库存状态 + 市场特征 + 希腊字母]     │
└──────────────┬───────────────────────┘
               ↓
┌──────────────────────────────────────┐
│         RL策略网络 (Actor)            │
│  ┌───────┐  ┌────────┐  ┌─────────┐ │
│  │买入报价│  │卖出报价│  │对冲比例 │ │
│  └───┬───┘  └───┬────┘  └────┬────┘ │
└──────┼──────────┼─────────────┼──────┘
       ↓          ↓             ↓
┌──────────────────────────────────────┐
│       无套利约束层 (eSSVI)           │
│     (保证IV曲面无蝶式/日历套利)       │
└──────────────┬───────────────────────┘
               ↓
        执行引擎 → 市场
               ↓
        奖励: PnL - λ·CVaR(尾部风险)

性能指标: Sharpe > 1.5 | MaxDD < 10% | 无套利违规 < 0.1%

4.4 STAR 总结

Situation（背景+痛点）

期权做市商在高度竞争的市场环境中提供双向报价，赚取买卖价差，同时承担复杂的非线性库存风险（Delta、Gamma、Vega、Theta）。传统做市模型（如Avellaneda-Stoikov 2008）基于简化的数学假设（Poisson订单到达、线性市场冲击），在高波动、非平稳的现代市场中日益力不从心。期权市场还面临波动率曲面套利、模型风险、对手方逆向选择等多重挑战。

Task（核心问题）

核心挑战是设计一个自适应期权做市策略，能够：(1) 在高维连续动作空间（买卖报价+对冲）中实时优化；(2) 管理希腊字母暴露和尾部风险；(3) 保证报价不产生套利机会（经济有效性）；(4) 在非平稳市场环境中持续学习。传统解析方法因维数灾难和假设过强而受限。

Action（主流方案）

技术演进经历了五个阶段：(1) 经典AS模型（2008）：解析闭式解，计算效率高但灵活性低；(2) 离散动作RL做市（2018-）：Spooner等用TD学习做市，状态/动作离散化；(3) 深度连续RL（2019-2022）：PPO/SAC等连续控制算法进入做市领域，结合LOB模拟器；(4) 期权专用深度对冲（2019-2022）：Buehler等开创深度对冲范式，pfhedge等框架成熟；(5) 约束RL+多智能体（2025-）：eSSVI无套利约束层（Zhang, 2025）、OPHR多Agent波动率交易（NeurIPS 2025）、对抗性RL和MARL博弈研究，标志着从"纯性能优化"到"安全+博弈+鲁棒"的范式跃迁。

Result（效果+建议）

当前RL期权做市在回测中可达Sharpe 1.5-2.0+，显著超越AS基准的1.0-1.2。关键突破包括：(1) eSSVI约束层将无套利违规率降至接近零；(2) 多智能体框架（OPHR）首次将波动率交易和风险管理分离建模；(3) GPU加速（JaxMARL）使训练效率提升240倍。主要局限在于模拟与实盘差距、超参敏感性、和可解释性不足。

实操建议：对于专业期权做市商，推荐方案C（连续DRL报价）+ 方案E（约束RL对冲）混合架构，用PPO/SAC保持报价灵活性，用eSSVI+CVaR保证对冲和风险合规。优先集成pfhedge或FinRL-X框架降低开发成本。每1-2周重新训练策略以适应市场变化。

4.5 理解确认问题

问题：在RL期权做市系统中，为什么使用CVaR（条件风险价值）而不是传统的方差（Variance）作为风险度量？如果使用方差做风险惩罚项，会对策略行为产生什么影响？

参考答案：期权收益分布具有显著的非对称性和厚尾特征（特别是卖出期权时存在跳跃损失风险），方差对所有偏离均值的方向一视同仁，而CVaR仅关注尾部损失。使用方差作为惩罚会导致智能体回避"高方差高收益"的策略（如卖出深度虚值期权收取小额权利金），而这些策略其实有正期望收益但偶尔巨亏——正是做市商应该管理的风险类型。

如果使用方差替代CVaR：策略会产生两种不良行为——要么变得极度保守（不愿承担任何希腊字母暴露，损失做市收入），要么在尾部风险上过度暴露（因为方差无法有效惩罚罕见但灾难性的损失事件）。这是期权做市不同于股票做市的根本设计差异。

附录：参考来源汇总

• FinRL - AI4Finance Foundation
• pfhedge - Preferred Networks
• tspooner/rl_markets
• HFTFramework - javifalces
• QUANT-P1 - Pushkar-Quant
• OPHR - NeurIPS 2025
• Deep Hedging - Buehler et al. 2019 (SSRN)
• Deep Bellman Hedging - arXiv 2022
• Risk-Sensitive OMM w/ eSSVI - Zhang 2025
• Market Making of Options - Fang & Xu 2023
• RL MM as Stochastic Control - Zimmer 2025
• Adversarial RL for MM - 2025
• MARL Competition without Collusion - 2025
• JaxMARL-HFT - 2025
• Contextual RL for MM - EAAI 2025
• FinRL-X - arXiv 2026
• Deep Hedging Tutorial (HackerNoon) - 2024
• 知乎：强化学习做市商策略 - 附代码
• 北航：深度强化学习期权对冲
• Awesome-Deep-Hedging 资源汇总
• NeuralHedge PyPI