CS 285: Deep Reinforcement Learning — 第18讲 详细讲义

深度剖析

本讲的定位非常关键：它处于离线RL理论（第17讲）与具体应用之间的桥梁位置。第17讲建立了"为什么需要离线RL"以及"分布偏移为何是根本挑战"的理论基础；本讲则回答"有哪些经过验证的算法解决方案"。值得注意的是，离线RL是一个相对年轻的领域——本讲涉及的多数论文发表于 2019-2021 年间（BRAC 2019, CQL 2020, IQL 2021, COMBO 2021），这意味着该领域在短短两三年内出现了爆发式的算法创新。Levine 教授的实验室（UC Berkeley RAIL）在这一波创新中扮演了核心角色——CQL、IQL、AWAC、MOPO、COMBO 等工作均出自其研究组。

从教学设计的角度看，本讲的五部分结构遵循了从"简单直接"到"复杂精细"的递进逻辑：策略约束是最直观的想法（"不要让策略跑太远"），但实现起来有诸多工程细节；IQL 和 CQL 代表了两种更优雅的数学方案——前者通过期望回归（expectile regression）巧妙地绕开OOD问题，后者通过显式的保守正则化项压制OOD动作的Q值；离线到在线RL 则是将离线RL嵌入到更完整的工业级流程中——先离线预训练，再在线微调，这是实际部署中最常见的范式；最后，基于模型的方法打开了另一条路径——通过学习环境动力学模型来实现"反事实推理"，但其挑战在于模型误差在OOD区域的放大效应。

深度剖析

这三条原则形成了一个完整的逻辑闭环：(1) 选择正确的算法框架（基于价值的方法）；(2) 在这个框架中识别并解决核心问题（分布偏移）；(3) 通过具体的训练目标设计来实现这一解决（压制过度估计）。我们可以从信息论的角度来理解这一逻辑：在线RL中，策略可以通过与环境交互不断获取新的互信息（mutual information）$I(s; a_{new})$——每次探索都在减少不确定性。而在离线RL中，这个信息通道被切断了——数据集 $\mathcal{D} = \{(s_i, a_i, r_i, s'_i)\}$ 包含的信息量是固定的。因此，算法必须在"已知已知"的区域内谨慎行事，任何对未知区域的乐观外推都可能导致灾难。

具体的技术手段映射到原则上：

• 悲观主义（Pessimism, e.g., CQL）：在目标函数中显式添加惩罚项，压低那些在数据集中不常见的动作的 Q 值。形式上，标准 Q-learning 最小化 $\mathbb{E}_{(s,a)\sim\mathcal{D}}[(Q(s,a) - \mathcal{B}^*Q(s,a))^2]$；而 CQL 额外最小化 $\mathbb{E}_{s\sim\mathcal{D}, a\sim\pi}[Q(s,a)]$（压低策略动作的 Q 值），同时最大化 $\mathbb{E}_{(s,a)\sim\mathcal{D}}[Q(s,a)]$（保持数据内动作的 Q 值）。
• 策略约束（Policy constraints）：限制策略分布 $\pi(a|s)$ 与行为策略分布 $\pi_\beta(a|s)$ 之间的距离。常用约束包括 KL 散度 $D_{KL}(\pi \| \pi_\beta)$（reverse KL，mode-seeking）或 $D_{KL}(\pi_\beta \| \pi)$（forward KL，mode-covering）。
• 避免 OOD 动作（Avoid OOD actions, e.g., IQL）：根本不在 Q 更新中查询 OOD 动作的 Q 值，通过隐式的策略提升来实现——这正是 IQL 的精妙之处。

深度剖析

这里的"显式"（explicit）与"隐式"（implicit）之分，在数学上有非常不同的含义。显式约束方法直接优化形如以下的目标：

$$\max_\pi \mathbb{E}_{s\sim\mathcal{D}, a\sim\pi(\cdot|s)}[Q(s,a)] - \alpha D(\pi(\cdot|s) \| \pi_\beta(\cdot|s))$$

其中 $D(\cdot\|\cdot)$ 是某种散度度量（通常为 KL 散度），$\pi_\beta$ 是需要额外估计的行为策略。这个公式非常直观，但也带来了额外的工程挑战：如何准确估计 $\pi_\beta$？散度 $D$ 如何高效计算？权重 $\alpha$ 如何选取？

隐式约束方法则走了一条更聪明的路。它们不显式计算分布间距离，而是通过加权最大似然的方式自然达成约束效果。其核心观察是：在最大熵RL框架下，最优策略可以表达为 $\pi^*(a|s) \propto \pi_\beta(a|s) \exp(Q(s,a)/\alpha)$。这个形式直接暗示了一个简单的算法——用 $Q$ 值的指数作为权重，对行为数据进行加权最大似然估计。这种方法不需要显式估计 $\pi_\beta$ 的分布参数，实现更加简洁。我们将分别在 Slides 5-8（显式方法）和 Slides 9-10（隐式方法）中展开讨论。

深度剖析

两种 KL 散度在离线RL中的适用场景有本质差异。Forward KL 的"模式覆盖"特性意味着策略被迫在所有数据覆盖的区域都保持一定概率——这在数学上保证了 $\pi_\theta$ 的支持集被包含在 $\pi_\beta$ 的支持集中，从而理论上完全排除了 OOD 动作。然而，这种覆盖是有代价的：Forward KL 迫使策略在所有行为模式上平均分配概率，导致策略不够"专注"——如果行为数据中包含了次优动作，Forward KL 约束的策略也会为这些次优动作保留概率。

Reverse KL 的"模式寻求"特性则允许策略选择性地聚焦于行为分布中的某些模式（通常是高 Q 值的模式）。在 Gaussian 策略的典型设定下，Reverse KL 有闭式解，使得梯度计算非常高效。但它的风险在于：如果在 Q 函数过度估计了某个区域的 Q 值，而这个区域恰好在数据分布中有一些（但不充分的）支持，Reverse KL 约束可能不足以阻止策略向这个区域过度集中。

从优化角度看，使用 Lagrange 乘子法，约束问题 $\max_\pi \mathbb{E}[Q] \text{ s.t. } D(\pi\|\pi_\beta) \leq \epsilon$ 等价于无约束目标 $\max_\pi \mathbb{E}[Q] - \lambda D(\pi\|\pi_\beta)$。不同的散度 $D$ 会产生不同几何性质的最优解。Reverse KL 倾向于产生"尖锐"的最优分布（集中在少数高Q值模式上），而 Forward KL 倾向于"平滑"的分布。

深度剖析

方案 1a（Lagrange 乘子法）的数学框架值得深入理解。Primal-dual 优化的交替过程如下：先在固定 $\lambda$ 下最大化 $\mathbb{E}[Q] - \lambda D(\pi\|\pi_\beta)$（primal 更新），然后在固定 $\pi$ 下沿 $\nabla_\lambda (D - \epsilon)$ 的方向更新 $\lambda$（dual 更新）。对于 Gaussian 策略和 Reverse KL 约束，primal 更新有解析梯度：

$$\nabla_\theta \mathbb{E}_{a\sim\pi_\theta}[Q(s,a)] \approx \mathbb{E}_{\xi\sim\mathcal{N}(0,I)}[\nabla_\theta \mu_\theta(s) + \nabla_\theta \sigma_\theta(s) \cdot \xi \cdot Q(s, \mu_\theta(s) + \sigma_\theta(s)\xi)]$$

加上 Reverse KL 惩罚 $\nabla_\theta D_{KL}(\pi_\theta \| \pi_\beta)$ 后，总的梯度是 Q 值提升方向与"拉回行为分布"方向之间的平衡。$\lambda$ 的动态调节机制是关键的工程细节——它避免了手动调参的繁琐，但也引入了额外的超参数（初始 $\lambda$、学习率、约束阈值 $\epsilon$）。

方案 1b（BC 类方法）看似粗糙，但在实践中常常意外地有效。其原理可以理解为：BC 项 $\mathbb{E}_{(s,a)\sim\mathcal{D}}[\log \pi(a|s)]$ 实际上是 Forward KL $D_{KL}(\pi_\beta \| \pi)$ 的负值（在忽略熵项的情况下）。因此 BC+RL 的组合相当于同时优化"模仿数据"（BC）和"提升Q值"，本质上也是一种策略约束。Levine 教授特别强调"generally not the best way to fix the problem, but can work well if done right"——这句话揭示了离线RL中一个反复出现的主题：简单方法在精心调参后常常能匹敌复杂方法的性能。

深度剖析

修改奖励函数 vs 修改 Actor 目标——这两种方案之间的差异不仅是工程上的，更有深层的数学含义。

修改 Actor 目标（方案1）：只在策略更新时施加约束，Q 函数的 Bellman 备份 $Q(s,a) \leftarrow r + \gamma \mathbb{E}_{a'\sim\pi}[Q(s',a') - \lambda D(\pi\|\pi_\beta)]$ 中的目标值不受约束影响（除非使用 in-sample 备份）。这意味着 Q 函数可能在 OOD 区域仍然存在过度估计，但策略因为约束的存在不会"走向"那些区域。

修改奖励函数（方案2）：将约束嵌入到奖励信号中，使得 Q 函数的 Bellman 目标本身就反映了行为偏离的代价。这意味着 Q 函数从根上就对偏离行为策略的动作赋予了更低的值，从而自然地引导策略选择保守动作。Levine 教授指出"also accounts for future divergence"——修改奖励的方法会通过 Bellman 备份的递归性质，将当前步骤的策略偏离对未来步骤的影响也纳入考虑。

然而，方案2的代价是需要估计行为策略 $\pi_\beta$。这通常通过监督学习（最大似然）在数据集 $\mathcal{D}$ 上训练一个行为策略模型来实现。行为策略估计的质量直接影响约束效果——如果 $\pi_\beta$ 的估计不准确，奖励修正也会不准确。在多模态行为数据上，简单的 Gaussian 模型可能无法充分拟合 $\pi_\beta$，导致约束效果打折扣。

深度剖析

BRAC 最重要的贡献在于系统性地形式化了行为正则化离线RL的搜索空间。在 BRAC 之前，不同的策略约束方法（如 BCQ、BEAR 等）各自使用不同的散度和实现方式，缺乏统一的比较框架。BRAC 通过抽象出以下设计维度，使得不同方法之间可以进行公平的"消融"（ablation）比较：

(1) 散度度量 $D$：KL 散度、最大平均差异（MMD, Maximum Mean Discrepancy）、Wasserstein 距离等；(2) 施加方式：值惩罚 vs 奖励惩罚；(3) 行为策略估计：参数化分布（如 Gaussian）vs 非参数化（如 VAE 编码）；(4) 正则化系数 $\alpha$ 的选择方式（固定 vs 自适应）。

从算法流程图可以看出 BRAC 的核心步骤：从数据集 $\mathcal{D}$ 中采样一批 $(s, a, r, s')$ 元组；用行为策略模型 $\pi_\beta$ 计算当前策略偏离程度 $D(\pi(\cdot|s) \| \pi_\beta(\cdot|s))$；修改奖励为 $\tilde{r} = r - \alpha D$（或修改 Q 目标）；按标准的 Bellman 误差更新 Critic；按修改后的目标更新 Actor。这个框架的优雅之处在于：如果去掉行为正则化项（$\alpha=0$），BRAC 就退化为标准的 Actor-Critic。

深度剖析

AC+BC 的有效性初看令人费解——如果 BC 这么简单就能解决离线RL问题，为什么要研究复杂的 BRAC、CQL、IQL 等方法？关键在于理解 AC+BC 的能力边界。

AC+BC 在以下条件下表现良好：(1) 数据集中已经包含了较优行为的样本（数据质量不太差）；(2) 行为分布相对简单（如单模态 Gaussian）；(3) 任务对策略精度要求不高。在这些条件下，BC 项提供了一个温和的"引力"，而 Q 值梯度在数据支持的区域内提供优化信号，两者的结合足以找到一个不错的策略。

AC+BC 的失效模式也很明确：(1) 当数据集中最优轨迹占比很低时，BC 的引力会过度拉向次优行为，Q 值提升的力不足以克服；(2) 当行为分布高度多模态时，简单的 BC（如 MSE 到均值）会趋向于"平均化"不同的模式，产生不在任何模式中的 OOD 动作；(3) 当 $\beta$ 较小时，Q 值过度估计可能将策略拉向 OOD 区域，而 BC 项的"回拉力"不够强。

Levine 教授的评价非常公允："generally not the best way to fix the problem, but can work well if done right"——AC+BC 不应该是解决离线RL问题的唯一方案，但作为一个强基线（strong baseline），它的简单性使其成为实际应用中值得首先尝试的方法。

深度剖析

AWR 的美妙之处在于它完全绕开了显式的分布距离计算。让我们逐步追踪其数学逻辑：

第一步（MaxEnt RL 的最优策略形式）：在标准 MaxEnt RL 中，最优策略为 $\pi^*(a|s) \propto \exp(Q(s,a)/\alpha)$。但在离线设定中，我们需要策略被约束在数据分布附近。通过对目标函数 $\mathbb{E}[Q] - \alpha D_{KL}(\pi \| \pi_\beta)$ 进行变分推导，可以得到约束后的最优策略 $\pi^*(a|s) \propto \pi_\beta(a|s) \exp(Q(s,a)/\alpha)$。

第二步（投影到参数化策略族）：我们需要找到参数 $\theta$ 使得 $\pi_\theta$ 尽可能接近 $\pi^*$。最小化 $D_{KL}(\pi^* \| \pi_\theta)$（Forward KL 投影）等价于最大化：

$$\mathbb{E}_{a\sim\pi^*(\cdot|s)}[\log \pi_\theta(a|s)] = \int \pi_\beta(a|s) \frac{\exp(Q/\alpha)}{Z(s)} \log \pi_\theta(a|s) da$$

第三步（重要性采样转换为数据集期望）：由于无法从 $\pi^*$ 采样，我们使用行为策略 $\pi_\beta$ 作为采样分布进行重要性加权：

$$\mathbb{E}_{a\sim\pi_\beta}\left[\frac{\exp(Q/\alpha)}{Z(s)} \log \pi_\theta(a|s)\right] \approx \mathbb{E}_{(s,a)\sim\mathcal{D}}\left[\exp(A/\alpha) \cdot \log \pi_\theta(a|s)\right]$$

这里 $Z(s)$ 被吸收进了优势函数中（因为 $A = Q - V$，而 $V$ 包含了 $\log Z$ 的信息），从而得到了优雅简洁的最终形式。

AWR 的一个关键优势是 Critic 可以给我们权重（通过 $Q$ 或 $A$），而 Actor 只需要做加权最大似然——这是一个非常稳定的训练过程。AWR 的相关工作可以追溯到 Peters et al. 的 REPS（Relative Entropy Policy Search）和 Rawlik et al. 的 $\Psi$-learning。

深度剖析

AWAC 的设计中有一个深刻的"跨阶段一致性"（cross-phase consistency）概念。许多离线RL方法在切换到在线微调时面临"水土不服"——离线阶段学到的保守偏置（如 CQL 的 Q 值压低）在在线阶段可能阻碍探索和策略提升。AWAC 则通过统一的加权最大似然框架，在两个阶段使用完全相同的 Actor 更新规则：

$$\max_\theta \mathbb{E}_{(s,a)\sim\text{buffer}}\left[w(A(s,a)) \cdot \log \pi_\theta(a|s)\right]$$

其中权重函数 $w(A) = \exp(A/\alpha)$。在离线阶段，buffer 就是固定的数据集 $\mathcal{D}$；在在线阶段，buffer 是混合了离线数据和在线交互数据的回放缓冲。这个统一的形式意味着：当在线数据中的高优势动作出现时，AWAC 自然就会偏好它们，无需"切换模式"。

Levine 教授的幻灯片提出了两个引导性问题："what are possible problems with this approach?" 和 "what are the advantages of this approach?"。可能的问题在于：(1) 优势估计 $A$ 的质量高度依赖于 Q 函数估计的准确性——在离线阶段，Q 函数可能由于数据覆盖不完整而有偏；(2) 指数权重 $\exp(A/\alpha)$ 对 Q 值误差非常敏感——如果 Q 函数在某个数据点上有噪声性的高估，该点将获得不成比例的高权重；(3) $\alpha$ 的选择需要手动调节，且在离线与在线阶段的最佳值可能不同。而优势在于：训练极其稳定（Actor 只做加权 MLE，不存在"策略优化导致动作漂移出数据分布"的风险）、离线与在线阶段的无缝衔接、以及在实践中优异的样本效率。

深度剖析

IQL 的"隐式"哲学在离线RL领域是一个重要的概念突破。传统 Actor-Critic 的逻辑是：Critic 评估动作好坏 → Actor 据此选择更好（Q值更高）的动作 → Critic 再评估新动作 → 循环往复。这个循环在离线RL中是有问题的——"Actor 选择更好动作"的步骤可能选出 OOD 动作，而 Critic 对这些动作的评估可能不准确，导致错误的反馈循环。

IQL 将这个循环"折叠"进了一个更简单的结构。其关键洞察是：我们其实不需要显式地学习一个策略来输出"更好的动作"。相反，我们可以直接学习数据支持集下的最优状态值函数 $V^*(s)$——即"在你的数据集中，从状态 $s$ 出发可能达到的最好结果"。然后，通过简单的优势加权回归（类似 AWR）来提取策略。这样，整个训练过程中没有一步需要查询 OOD 动作的 Q 值。

IQL 的核心技术组件是期望回归（expectile regression），它提供了一种在不显式取最大值的情况下逼近"上分位数"（upper quantile）Q 值的方法。我们将在接下来的 slides 中详细展开。

深度剖析

从数学上看，传统的 Bellman 最优算子 $\mathcal{B}^*$ 定义为：

$$(\mathcal{B}^* Q)(s, a) = r(s, a) + \gamma \mathbb{E}_{s'\sim P(\cdot|s,a)}\left[\max_{a'} Q(s', a')\right]$$

这里的 $\max_{a'}$ 是问题所在——它评估了动作空间中的所有 $a'$，包括远离数据支持的 OOD 动作。在表格型RL中，这不会造成问题（因为所有动作都会被均匀探索）；但在函数近似 + 离线数据场景中，Q 网络在 OOD 区域的值完全不受数据约束，可以是任意值。

IQL 用以下替代方案来逼近"数据支持集内的最优Q值"：

$$(\mathcal{T} Q)(s, a) = r(s, a) + \gamma \mathbb{E}_{s'}\left[\mathbb{E}_{a'\sim\pi_\beta(\cdot|s')}[\max(Q(s', a'), \tau\text{-expectile}(Q, s'))]\right]$$

或者更精确地说，IQL 学习一个价值函数 $V_\psi(s)$ 来逼近 $\tau$-expectile of $Q(s, a)$ with respect to $a \sim \pi_\beta(\cdot|s)$，其中 $\tau > 0.5$（靠近1时为上分位数）。Expectile 是对均值的一种非对称推广：当 $\tau=0.5$ 时为条件均值，当 $\tau \to 1$ 时趋向于最大值。因此，通过选择 $\tau \approx 0.9$，$V_\psi(s)$ 自然地逼近"行为策略下 Q 值分布的上分位数"——即"数据中较好动作"的 Q 值，而无需显式最大化。

深度剖析

期望回归的数学性质值得深入分析。对于 $\tau \in (0,1)$，令 $f_\tau(x) = |\tau - \mathbb{1}_{x<0}| \cdot x^2$。这个函数在 $x=0$ 处连续（因为 $\lim_{x\to 0^-} \tau x^2 = \lim_{x\to 0^+} (1-\tau) x^2 = 0$），但梯度在 $x=0$ 处不连续。然而在实际优化中，这个轻微的不光滑性不会造成问题——实际上，由于我们使用随机梯度下降，它反而在分位数附近产生了鲁棒性。

对于 $\tau \to 1$，$\tau$-期望趋近于"上确界"（supremum）。具体来说，如果随机变量 $X$ 有上界 $M$，则 $\lim_{\tau\to 1} \tau\text{-expectile}(X) = M$。对于无界分布（如 Gaussian），$\tau$-期望随 $\tau \to 1$ 发散。因此在实践中，$\tau$ 的选择是一个关键超参数：$\tau$ 太接近 1 会使得 $V_\psi$ 过度追求极值（容易被噪声数据点误导）；$\tau$ 太小（接近0.5）则 $V_\psi$ 接近条件均值，无法区分好动作和坏动作。IQL 论文中通常使用 $\tau \in [0.7, 0.95]$，典型值为 $\tau=0.9$。

另一个重要的实现细节是："distribution is induced by actions only"——Q 值的分布完全由动作的随机性（给定状态 $s$，数据集中动作的分布 $\pi_\beta(\cdot|s)$）诱导。这意味着 $V_\psi(s)$ 刻画的是"在当前数据的动作分布下，Q 值的 $\tau$-分位数"——不涉及任何对 OOD 动作的推断。

深度剖析

让我们仔细对比传统 Q-learning 与 IQL 的 Q 更新：

标准 Q-learning：

$$\mathcal{L}_Q = \mathbb{E}[(r + \gamma \max_{a'} Q_{\bar{\phi}}(s', a') - Q_\phi(s,a))^2]$$

这里 $\max_{a'}$ 在连续动作空间中需要通过梯度上升来近似，并且不可避免地涉及 OOD 动作。

IQL 的 Q 更新：

$$\mathcal{L}_Q = \mathbb{E}[(r + \gamma V_\psi(s') - Q_\phi(s,a))^2]$$

$V_\psi$ 完全在数据分布的支持集内被定义和训练。这是通过在 Q 更新与 V 更新之间建立不对称的依赖关系来实现的：V 的更新依赖 Q（作为目标），但 Q 的更新依赖 V（作为 bootstrap）。这个循环在数学上是自洽的——当 $\tau \to 1$ 时，$V_\psi$ 趋向于 $\max_{a: \pi_\beta(a|s)>0} Q(s,a)$（数据支持集上的最大值），从而 IQL 的 Q 更新趋向于支持集约束下的 Bellman 最优更新。

这个架构还有一个重要的工程优势：Q 函数和 V 函数的更新是相互解耦的，可以各自使用不同的优化器和学习率，训练过程非常稳定。相比之下，Actor-Critic 中的 Actor 和 Critic 交替更新可能导致训练震荡。

深度剖析

IQL 的设计哲学——将策略优化拆分为"隐式提升+显式提取"——具有深远的方法论意义。在标准的 Actor-Critic 框架中，Critic 和 Actor 的优化是紧耦合的：Actor 的更新方向来自 Critic 的梯度，Critic 的评估对象又来自 Actor 的采样。这种紧耦合在在线RL中是优势（高效利用采样），但在离线RL中成为问题——Actor 生成的动作可能是 OOD 的，Critic 对这些动作的评估引导 Actor 走偏，形成恶性循环。

IQL 的"解耦"通过两个关键的分离实现：(1) 提升（improvement）与评估（evaluation）的分离——提升被隐式地嵌入到 $V_\psi$ 的期望回归中，评估只需做标准的 TD 更新；(2) 提升与策略参数化的分离——价值提升不依赖策略网络的梯度，策略只需在最后通过加权模仿学习来"读取"价值函数的结果。

这种解耦使得 IQL 在实践中具有出色的稳定性：Q 和 V 的更新只涉及平方损失（凸优化问题），策略更新只涉及加权最大似然（也是凸的，条件于权重）。没有对抗性训练（如 GAN 风格的 min-max），没有需要精细调节的 Lagrange 乘子，没有需要估计的行为策略分布。IQL 在 D4RL 基准上的表现证明了这种极致简洁的有效性——它在多个任务上匹敌甚至超越了设计更复杂的 CQL。

深度剖析

这个中场休息是理解离线RL算法空间结构的重要节点。我们可以在一个二维平面上组织已讨论的方法：横轴是"对OOD动作的态度"（从"积极避免"到"主动压制"），纵轴是"实现复杂度"（从"几行BC代码"到"多网络交替训练"）。

在这个平面上，AC+BC 位于"最简实现 + 温和约束"的角落；BRAC 位于"中等复杂度 + 显式约束"的区域；AWR/AWAC 位于"中等复杂度 + 隐式约束"；IQL 位于"较高复杂度 + 完全避免OOD"的位置。而在中场休息之后，我们将遇到 CQL，它占据了"主动压制OOD动作"这一端——通过显式的保守正则化项，系统性地压低所有可能OOD动作的Q值。CQL 的哲学是："既然无法完全避免评估OOD动作，那就确保对这些动作的评估是悲观的。"

深度剖析

CQL 的哲学与 IQL 形成了有趣的对比。IQL 试图完全避免评估 OOD 动作——通过期望回归，它只关心数据中实际出现动作的 Q 值分布。CQL 则承认：在函数近似下，神经网络不可避免地会对 OOD 动作产生某种 Q 值预测（网络必须对输入空间中的所有点都有输出），问题不在于"是否评估 OOD 动作"，而在于"对这些评估赋予什么样的偏置"。CQL 的选择是赋予向下的偏置（downward bias）——让 OOD 动作的 Q 值被压低。

这种"向下偏置"有一个重要的理论保证。在表格型（tabular）设定下，CQL 被证明给出了真实 Q 函数的下界（lower bound）：即学到的 $\hat{Q}^\pi(s,a) \leq Q^\pi(s,a)$ 对所有 $(s,a)$ 以高概率成立。这个下界性质是 CQL 安全性的理论基础——因为 Q 函数不会高估任何动作，策略选择的高 Q 值动作至少不会比估计的更差。在函数近似设定下，这个理论保证虽然不再严格成立，但实验表明 CQL 在实践中确实能有效地压制 Q 值的过度估计。

深度剖析

让我们更深入地分析"Q 值虚高"现象的数学机制。在标准 Q-learning 中，Bellman 最优算子 $\mathcal{B}^*$ 的定义包含了 max 操作：

$$\mathcal{B}^* Q(s,a) = r(s,a) + \gamma \mathbb{E}_{s'}\left[\max_{a'} Q(s', a')\right]$$

重要性质：$\mathcal{B}^*$ 是一个收缩映射（contraction mapping）在 $\infty$-范数下。但当使用函数近似（神经网络）时，我们实际上是在做近似 Bellman 更新——最小化 $\mathbb{E}[(Q(s,a) - \mathcal{B}^* \hat{Q}(s,a))^2]$，其中 $\hat{Q}$ 是目标网络。这种近似引入了一个偏差：$\max$ 操作与函数近似中的误差相互作用，产生系统性的向上偏置（因为 $\mathbb{E}[\max(X_1, ..., X_n)] \geq \max(\mathbb{E}[X_1], ..., \mathbb{E}[X_n])$，Jensen 不等式）。

在在线RL中，这个偏置被环境交互"纠正"——如果策略因為高 Q 值而選擇了某個動作，實際執行的結果會提供糾正信號。但在離線RL中，沒有這種糾正機制，使得高估誤差可以通過 Bellman 備份中的 $\max$ 操作不斷累積和放大。CQL 的保守正則化項直接對抗這個偏置：

$$\mathcal{L}_{\text{CQL}} = \mathcal{L}_{\text{standard TD}} + \alpha \underbrace{\left(\mathbb{E}_{s\sim\mathcal{D}, a\sim\pi}[Q(s,a)] - \mathbb{E}_{(s,a)\sim\mathcal{D}}[Q(s,a)]\right)}_{\text{压低策略动作Q值，抬高数据动作Q值}}$$

這個正則化項具有直觀的幾何意義：它將 Q 函數的"曲面"在數據支持區域"固定"住（通過最大化數據動作的 Q 值），同時在 OOD 區域向下"拉"（通過最小化策略動作的 Q 值）。最終形成一個在數據區域準確、在 OOD 區域保守的 Q 函數。

深度剖析

CQL 正则化项的两部分设计体现了一个深刻的权衡：在"压低一切"与"仅压低 OOD"之间找到平衡。如果只有第一部分（压低策略动作 Q 值），而没有第二部分（抬高数据动作 Q 值），Q 函数会退化到对所有动作都给出负无穷大的 Q 值——这在数学上是这个无约束优化问题的唯一解（因为你可以无限压低所有 Q 值来最小化 $\mathbb{E}[Q]$）。第二部分提供了关键的"锚点"——数据中的动作被强制保持一定的 Q 值，策略只能在数据支持的区域内寻找高于锚点的动作。

从优化动力学的角度，两部分的工作方式如下：在训练的早期，Q 函数还未充分学习，策略 $\pi$ 近似随机，因此 $\mathbb{E}_{a\sim\pi}[Q] \approx \mathbb{E}_{(s,a)\sim\mathcal{D}}[Q]$，CQL 正则化项几乎为零。随着 Q 函数逐渐学会区分好动作和坏动作，策略开始偏向高 Q 值动作——这些动作中有些是数据中的（OK），有些可能是 OOD 的（危险）。CQL 正则化项此时激活：压低策略动作的 Q 值（general push down），但保持数据动作的 Q 值（specific push up）。净效应是：OOD 动作的 Q 值下降，数据内动作的 Q 值保持相对稳定。

CQL 论文中给出了这个正则化项的一个等价解释：它等价于在学习 Q 函数之后，在策略评估步骤中最小化一个受约束的目标；或者等价于在标准 Q-learning 的基础上添加了一个分布鲁棒性（distributionally robust）的正则化。

深度剖析

CQL 使用 log-sum-exp 是一个关键的工程选择。log-sum-exp 函数 $\text{LSE}(s) = \log\sum_a \exp(Q(s,a))$ 是 $\max_a Q(s,a)$ 的平滑近似——当 $\max$ 与次大值之间的差距很大时，LSE 几乎等于最大 Q 值；当多个动作的 Q 值接近时，LSE 略高于 $\max$（这是其凸性导致的）。

在连续动作空间中，$\sum_a$ 需要被替换为积分或采样近似。CQL 在实践中通过对当前策略 $\pi$ 和均匀分布 $U(\mathcal{A})$ 的混合采样来近似：

$$\mathbb{E}_{s\sim\mathcal{D}}\left[\log \mathbb{E}_{a\sim\text{mix}(\pi, U)}[\exp(Q_\phi(s,a))]\right]$$

这提供了对"所有可能动作中最大 Q 值"的一个数值上稳定的近似。另一个实践中使用的变体直接用以下形式：

$$\mathcal{L}_{\text{CQL}} = \mathcal{L}_{\text{TD}} + \alpha \left(\mathbb{E}_{s\sim\mathcal{D}, a\sim\pi}[Q(s,a)] - \mathbb{E}_{(s,a)\sim\mathcal{D}}[Q(s,a)]\right)$$

这与 log-sum-exp 形式在效果上类似但实现更简单。CQL 论文通过理论分析证明了这种形式在表格设定下提供了 Q 值的下界保证。

关于超参数 $\alpha$：$\alpha=0$ 恢复标准 Q-learning；$\alpha$ 越大，Q 函数越保守。在实践中，$\alpha$ 通常通过一个 Lagrange 乘子来自动调节——设定一个期望的 Q 值压低程度 $C$，然后通过梯度上升/下降来调节 $\alpha$ 以满足这个约束。这种自适应机制避免了手动调节 $\alpha$ 的繁琐，但也增加了额外的超参数 $C$。

深度剖析

CQL + SAC 的组合是实践中离线RL最常用的配置之一。熵正则化在这里扮演了一个微妙但关键的角色。在纯 CQL（无熵正则化）中，保守的正则化可能导致策略变得过度确定（overly deterministic）——因为压低 OOD 动作 Q 值的副作用是策略更倾向于选择"最安全"（数据中最常见）而非"最优"的动作。熵正则化通过鼓励策略保持一定程度的随机性，在"安全"和"探索"之间引入了张力：

策略优化的目标：

$$\max_\pi \mathbb{E}_{s\sim\mathcal{D}, a\sim\pi}[Q_{\text{conservative}}(s,a) + \beta \mathcal{H}(\pi(\cdot|s))]$$

其中 $Q_{\text{conservative}}$ 是经过 CQL 保守正则化后的 Q 函数，$\beta$ 是熵系数（在 SAC 中可通过自动温度调节来学习）。

这种组合在实践中展现了令人瞩目的鲁棒性。在 D4RL 基准测试中，CQL(+SAC) 在大多数任务上排名前二（与 IQL 竞争），特别是在数据质量较低的"medium"和"medium-replay"数据集上表现出色——这正是保守偏置价值最大的场景。对于"expert"数据集（数据质量高），CQL 的保守偏置可能稍微过于保守，略微限制了策略的表现天花板。

深度剖析

离线到在线RL暴露了离线RL算法的一个根本张力：离线RL方法的有效性往往与其在线微调的效率成反比。越保守的方法（如 CQL 的高 $\alpha$ 值）在纯离线场景中越安全，但在切换到在线微调时，需要越多的在线数据来"解除"保守偏置。反之，越不保守的方法（如 AWAC）在离线场景中风险更高（如果 Q 函数不够准确），但切换到在线微调时适应更快。

这个张力产生了一个有趣的问题：是否存在一个"统一的"算法，既能在离线阶段保持保守，又能在在线阶段快速适应？Levine 教授在这一部分将呈现的观点是：(1) 在理论上，这样的统一算法可能不存在或极难设计；(2) 在实践中，一个极其简单的方法——混合离线数据和在线数据的回放缓冲——出人意料地有效；(3) 扩散模型（diffusion models）作为策略表示在离线到在线RL中展现了意外的优势。

深度剖析

從信息論的角度看，離線到在線RL的過渡涉及一個信息源切換。在離線階段，算法依賴於一個固定的數據集——這是一個靜態信息源，其信息量和覆蓋範圍是有限且不可增長的。在在線階段，算法可以主動選擇去收集哪些信息——這是一個動態信息源，信息量可以通過探索策略來控制。關鍵挑戰在於：離線階段學到的模型（Q函數、策略、可能的環境模型）是基於靜態信息源訓練的，它們在被切換到動態信息源時可能產生分佈外泛化誤差。

具體來說，離線階段學到的 Q 函數可能在數據集覆蓋良好的區域非常準確，但在數據集未覆蓋的區域（這些區域恰恰是在線階段策略可能探索到的）存在很大的不確定性。如果策略在在線階段早期就大膽地探索這些不確定區域，Q 函數的誤差可能導致策略走入歧途，需要大量額外的在線數據來修正。這就是 Slide 24 將要展示的"性能低谷"問題。

深度剖析

這個"性能低谷"現象揭示了離線到在線RL中的一個關鍵困境：離線階段越保守的方法，在在線階段的"校準成本"越高。CQL 通過系統性地壓低 OOD 動作的 Q 值來實現安全性，但這同時意味著：對於那些在數據中不常見但在真實環境中是好選擇的動作，CQL 也傾向於給出低估的 Q 值。當策略進入在線階段，它可以實際嘗試那些之前被低估的動作，發現它們實際上很好——但這需要時間和數據。

更具體地說，CQL 的保守正則化項 $\mathbb{E}_{s\sim\mathcal{D}}[\log\sum_a \exp(Q)] - \mathbb{E}_{(s,a)\sim\mathcal{D}}[Q]$ 在離線階段強制 Q 函數的低估偏置。但在在線階段，新的數據流迫使 Q 函數進行"矛盾"的調整：一方面，CQL 正則化（如果繼續施加的話）試圖保持低估；另一方面，新的真實獎勵信號（特別是高獎勵的軌跡）試圖提高 Q 值。這兩股力量之間的衝突導致了 Q 函數的震盪和性能的短期下降。

Levine 教授坦率地指出："Different offline RL algorithms have different versions of this problem, but it's very hard to fix this completely!"——不同的離線RL算法都有各自版本的性能低谷問題，而且從根本上完全消除這個問題極其困難。

深度剖析

悲觀主義 vs 樂觀主義的對立是理解離線到在線RL困境的理論鑰匙。在不確定性面前：

悲觀主義（離線RL）：對於不確定或未見的動作，假設最壞情況。數學表現為：$\hat{Q}(s,a) = Q(s,a) - \beta \cdot u(s,a)$，其中 $u(s,a)$ 是對 $(s,a)$ 不確定性的度量（如 ensemble Q 函數的方差），$\beta > 0$。（這與 CQL 的保守正則化、MOPO 的不確定性懲罰一致。）

樂觀主義（在線探索）：對於不確定或未見的動作，假設最好情況。數學表現為：$\hat{Q}(s,a) = Q(s,a) + \beta \cdot u(s,a)$，其中 $\beta > 0$。（這是 UCB、Bootstrapped DQN 等方法的基礎。）

符號的翻轉（$-\beta$ vs $+\beta$）暴露了深層的不可調和性：沒有單一的 $\beta$ 能在兩個階段都最優。這一困境指向了一種可能的解決方案：階段感知的自適應機制——在離線階段使用較大的正 $\beta$（悲觀），在過渡到在線階段時逐漸減小甚至翻轉 $\beta$ 的符號（變為樂觀）。但設計這樣的自適應機制在實踐中極具挑戰性，因為很難準確判斷"何時應該從悲觀切換到樂觀"。

深度剖析

這個"尷尬但有效"的方法為我們提供了關於離線到在線RL的深刻洞見。為什麼從零開始訓練 + 混合採樣能打敗精心設計的預訓練 + 微調流程？我認為有以下幾個因素在起作用：

1. 消除了"價值函數重新校準"問題：因為不從預訓練權重開始，所以不存在"離線階段的保守偏置需要在線數據來修正"的問題。Q 函數從一開始就同時接觸離線和在線數據，它的偏置是均衡的而非一邊倒的。

2. 離線數據作為"正則化錨點"：從在線數據緩衝中學習時，Q 函數可能因為在線數據的有限覆蓋而產生高方差或過度估計。離線數據（特別是大量、多樣化的離線數據）提供了穩定的"背景信息"，防止 Q 函數過度擬合少量的在線數據。

3. 避免了"災難性遺忘"：離線預訓練 + 在線微調的範式可能類似於持續學習（continual learning）中的災難性遺忘問題——在微調時，網絡可能"忘記"離線階段學到的有用表徵。從零開始訓練則徹底繞開了這個問題。

4. 簡單性的力量：這個方法沒有任何需要精細調節的過渡機制（如"何時從悲觀切換到樂觀"），因此沒有因調參不當而引入的性能損失。

深度剖析

擴散模型在離線到在線RL中的成功隱含了一個重要的方法論轉向。傳統 Actor-Critic 的邏輯是"策略通過優化來提升"——Actor 被訓練來最大化 Q 值。而擴散策略的方法則不同：策略通過更好的表示來提升。

擴散模型的關鍵優勢可能在於：

1. 多模態建模能力：行為數據通常是高度多模態的（同一狀態下可能有多種合理動作）。高斯策略（標準 SAC/TD3 的 Actor）只能捕捉單一模式，而擴散模型天然適合建模複雜的多模態分佈。"no need to capture multiple modes"——擴散模型不需要刻意去"捕捉"多個模式，這對它們來說是自然而然的事。

2. 分佈內生成的保證：如果擴散模型是在離線數據上通過監督學習（BC）訓練的，它生成的樣本自然傾向於落在訓練分佈內——這恰好實現了"策略約束"的效果，但不需要任何顯式的散度計算或 Lagrange 乘子。

3. 平滑的過渡特性：在從離線（純BC訓練的擴散策略）到在線（Q值引導的擴散策略或混合訓練）的過渡中，擴散模型的生成過程提供了一個天然的"平滑性"——小的條件變化（如 Q 值的引導）導致小的生成分佈變化，使得過渡更平穩。

Levine 教授提到的"that said, maybe avoiding this is exactly what allows diffusion models to work so well for offline-to-online RL"——正是因為避開了用RL訓練擴散模型的複雜性（只用監督學習），擴散策略反而在離線到在線場景中表現出色。這是一個有趣的"不做比做更好"的案例。

深度剖析

IDQL 的設計中，最精妙的地方在於它完全避免了用 RL 訓練擴散模型。擴散策略的訓練僅僅是（加權）監督學習——對數據中的動作做（加權）去噪得分匹配。這意味著：(1) 沒有策略梯度通過去噪鏈反向傳播的問題；(2) 擴散模型生成的動作天然地落在訓練分佈的支持集內（只要去噪過程是在訓練分佈上學習的）。

這種設計有效地將"策略提升"的責任從策略網絡本身轉移到了價值函數上：IQL 的 $V_\psi$（通過期望回歸）負責識別"數據中哪些動作是好的"，而擴散策略只是負責"將這些好動作的生成模式學到手"。這種分工——價值函數負責"判斷"（evaluation），擴散策略負責"生成"（generation）——避免了 Actor-Critic 中 Actor 通過 Q 值梯度"想像"新動作的風險。

在在線微調階段，IDQL 可以選擇：(a) 繼續使用加權 BC（安全但保守），(b) 開始使用某種形式的 Q 值引導（探索但風險更高），或 (c) 如 Ball et al. 那樣用混合緩衝進行標準在線 RL。擴散策略的生成靈活性為這些選擇提供了空間。

深度剖析

FQL 的設計體現了一個更一般的方法論原則：將"表示能力"與"執行效率"分離。擴散/流匹配模型提供了強大的表示能力——它可以精確地捕獲複雜、多模態的行為分佈。但擴散模型的迭代推斷特性使其不適合作為需要低延遲決策的 Actor（特別是在機器人等實時系統中）。FQL 的做法是：讓擴散模型在訓練時充當"老師"（提供行為分佈的豐富表示），讓普通神經網絡在推斷時充當"學生"（快速的動作生成器）。

具體的"靠近"約束可以通過多種方式實現。一種是蒸餾（distillation）——最小化 $\pi_\theta$ 與 $\mu$ 之間的 KL 散度：

$$\min_\theta D_{KL}(\pi_\theta(\cdot|s, z) \| \mu(\cdot|s))$$

另一種是對抗訓練——使用判別器確保 $\pi_\theta$ 的生成分佈與 $\mu$ 不可區分。不論哪種方式，核心目標都是讓 $\pi_\theta$ 的行為"停留在" $\mu$ 的支持集內，從而繼承擴散模型的"分佈內生成"安全性。

"why is this good?"——Levine 教授再次引導學生思考。FQL 的優勢在於：訓練時利用擴散模型的表示能力，推斷時利用普通神經網絡的速度。它在不犧牲在線推斷效率的前提下，獲得了擴散模型在行為建模上的優勢。

深度剖析

擴散引導的方法論創新在於改變了探索發生的空間。傳統RL在動作空間中探索——策略參數化一個動作分佈 $\pi(a|s)$，探索通過在這個分佈上添加噪聲來實現。問題在於：動作空間中的隨機擾動可能導致動作脫離數據支持集。擴散引導則將探索移到了隱空間——隱空間由擴散模型的噪聲先驗 $p(z)$ 參數化，所有隱變量 $z$（在標準高斯先驗下）對應的生成動作都保證在訓練分佈內。

具體的技術方案：使用 DDIM（Denoising Diffusion Implicit Models）或流匹配（flow matching）來獲得一個確定性的隱空間到動作空間的映射 $a = f(s, z)$，其中 $z \sim \mathcal{N}(0, I)$。在這個設定下，我們可以在隱空間中訓練一個策略 $\pi(z|s)$（如 SAC Actor），它的輸出是隱變量 $z$ 而非動作 $a$。然後將 $z$ 通過凍結的擴散解碼器 $f(s, z)$ 映射為實際執行的動作。整個訓練過程中，Critic 評估的是 $Q(s, f(s, z))$，而 $f(s, z)$ 因為 $f$ 是在離線數據上訓練的且被凍結，保證了輸出在分佈內。

"Fast online RL method"——因為隱空間RL的參數化非常高效（隱變量 $z$ 的維度可以遠小於動作空間），加上 SAC 本身就是高效的online RL算法，整個系統可以在線快速學習。

深度剖析

基於模型的方法在離線與在線設定中的處境形成了鮮明對比。在在線RL中，當模型在 OOD 區域做出錯誤預測時，智能體可以在真實環境中驗證這些預測的正確性，從而修正模型。"模型只是輔助工具，真相始終來自環境"。但在離線RL中，真實環境是不可訪問的——模型是唯一的"世界模擬器"。如果模型在 OOD 區域高估獎勵或低估風險，策略可能被引導到一個"模型中的烏托邦"，而這個烏托邦在真實環境中根本不存在。

這意味著基於模型的離線RL需要一個類似於無模型方法中的"保守性"機制——在模型預測上疊加某種悲觀修正。具體來說，有兩種主要的技術路線：(1) 不確定性懲罰（uncertainty penalty，如 MOPO）——在模型的獎勵預測中減去一個與模型不確定性成正比的值，從而對"模型不了解的區域"自動施加悲觀；(2) 保守模型基RL（如 COMBO）——將 CQL 的保守正則化思想推廣到模型生成的數據上，確保 Q 函數對模型生成的（可能的 OOD）狀態-動作對保持悲觀。

深度剖析

基於模型RL的 OOD 問題可以通過模型誤差的複合放大效應來理解。在模型上進行 rollout（軌跡展開）時，第一步模型預測 $\hat{s}_1 = f(s_0, a_0)$ 引入一個小的誤差 $\epsilon_1$。但第二步的預測 $\hat{s}_2 = f(\hat{s}_1, a_1)$ 的輸入就是 $\hat{s}_1$（而非真實的 $s_1$），這意味著 $\epsilon_1$ 傳播進入第二步，產生更大的誤差 $\epsilon_2$。經過 $H$ 步 rollout 後，累計誤差可能呈指數增長：

$$\|\hat{s}_H - s_H\| \approx O(L^H \cdot \epsilon_0)$$

其中 $L$ 是模型在狀態空間中的 Lipschitz 常數（$L > 0$）。在數據覆蓋良好的區域，$L$ 可能小於 1（收縮）；但在 OOD 區域，$L$ 可能大於 1（發散），導致 rollout 快速偏離真實軌跡。

這與無模型方法中的 Q 值過度估計形成了有趣的對稱：無模型方法中，max 操作導致 Q 值在 OOD 區域被高估；基於模型方法中，模型的錯誤預測導致策略在 OOD 區域被誤導。兩者都是"樂觀偏置"的表現——智能體傾向於相信"未嘗試過的可能更好"。

深度剖析

MOPO 的不確定性懲罰機制可以從貝葉斯視角來理解。假設我們有一個模型後驗分佈 $p(\hat{P}|\mathcal{D})$，表示了在給定數據 $\mathcal{D}$ 後對動力學模型的信念分佈。後驗反映了兩種不確定性：(a) 認知不確定性（epistemic uncertainty）——由於數據不足導致的不確定性，可以通過收集更多數據來減少；(b) 偶然不確定性（aleatoric uncertainty）——環境固有的隨機性，無法通過更多數據來消除。

MOPO 的 ensemble 方差主要捕捉的是認知不確定性——如果多個模型在 $(s,a)$ 處的預測差異很大，說明該區域數據不足，模型不可靠。在這些區域，不確定性懲罰 $\lambda u(s,a)$ 自動降低獎勵，阻止策略在這些區域"投機"。

然而，MOPO 的一個潛在限制是：不確定性懲罰施加在即時獎勵上，而非長遠的價值估計上。這意味著：如果一個 OOD 狀態的即時模型預測不確定性較小（例如，模型對那個狀態的預測恰好"自信地錯誤"），但長遠來看會導致糟糕的結果，MOPO 可能無法充分懲罰這種情況。這是 COMBO 試圖解決的問題。

MOPO 的同期工作包括 Kidambi et al. 的 MOReL（Model-Based Offline Reinforcement Learning），它採用了類似的理念（不確定性懲罰），但在實現細節上有所不同（MOReL 使用了更複雜的不確定性度量，包括構建一個"已知區域"的Pessimistic MDP）。

深度剖析

COMBO 相對於 MOPO 的關鍵進步在於正則化發生的層面。MOPO 在獎勵層面施加不確定性懲罰——直接修改模型獎勵 $\tilde{r} = \hat{r} - \lambda u$。COMBO 則在價值層面施加保守性——通過 Q 函數的正則化來壓低模型生成數據的價值。這種差異的意義在於：

MOPO 的獎勵修正 $\tilde{r} - \lambda u$ 只在當前步驟起作用，它在 Bellman 備份中是"局部"的。如果模型在一個 OOD 區域的即時不確定性較低（模型對自己的錯誤預測很自信），但從該區域出發的長期後果是不利的，MOPO 的局部懲罰可能不足以防止策略進入該區域。

COMBO 的價值正則化則通過 Bellman 備份的遞歸性質傳播到所有未來步驟。即使當前步驟的不確定性較低，如果未來步驟的不確定性高，這些步驟對應的 Q 值也會被壓低。這意味著 COMBO 能夠捕獲那些"模型預測看似合理，但長期後果糟糕"的 OOD 區域。

此外，COMBO 利用了 CQL 的理論保證——在表格設定下，COMBO 的 Q 函數是對真實 Q 函數的下界（lower bound）。這為 COMBO 提供了與 CQL 相同的理論安全性。"Intuition: if the model produces something that looks clearly different from real data, it's easy for the Q-function to make it look bad"——如果模型產生的數據明顯不同於真實數據，Q 函數很容易使其看起來差（因為 Q 函數被訓練為壓低與數據分佈不同的區域）。

深度剖析

從方法論的角度，離線RL算法的演進體現了一個有趣的模式：從"外部約束"到"內在特性"。早期的策略約束方法（BRAC、BC+AC）依賴於外部的、顯式施加的約束——需要估計行為策略、計算散度、調節 Lagrange 乘子。隨後的 CQL 和 IQL 將保守性內化到了 Q 函數的損失函數中——不需要外部的行為策略模型，保守性通過損失函數的設計自動實現。最近的擴散策略方法則將保守性進一步內化到了策略表示本身——擴散模型在訓練分佈上的生成天然具有"分佈內"的特性，不需要任何額外的正則化。

這種"從顯式約束到隱式特性"的演進，是機器學習中一個反覆出現的主題——好的歸納偏置（inductive bias）應該嵌入到模型架構或損失函數的結構中，而非作為外部正則化項手動添加。離線RL領域的這一演進，也許正指向未來更根本的解決方案。