CS 285 深度学习强化学习 — 第16讲 详细讲义

概念详解

第16讲从第15讲的"为什么学模型"自然过渡到"学了模型之后怎么用"。Slide 3 精准地承接了上一讲的终点：上一次我们讲了如何用不确定性感知的模型来处理分布偏移——可以运行之前学过的算法——但"有更好的选择"。本讲的核心词是规划（planning）：使用模型来做决策，而不显式地维护一个策略函数。

Slide 4-7 建立了一个由浅入深的规划范式谱系：确定性（deterministic）→ 随机开环（stochastic open-loop）→ 随机闭环（stochastic closed-loop）。这三种范式的根本区别在于动作序列与状态之间的信息依赖关系。

在确定性规划（Slide 4）中，给定初始状态 $s_1$ 和动力学模型 $f_\phi$，只需优化一条确定的动作序列 $a_1, a_2, \ldots, a_H$——因为模型本身是确定的，未来的状态被动作完全决定。在随机开环规划（Slide 5）中，模型是随机的，但动作序列仍然在"见到"任何实际的状态之前被一次性完全确定——这意味着动作的选择不能对未来的随机结果做出反应。Slide 5 厉声质问："why is this suboptimal?"（为什么这是次优的？）。在随机闭环规划（Slide 7）中，策略 $\pi(a_t|s_t)$ 在每个时间步根据实际到达的状态做出决策——这是最优的，但需要策略的参与，因而与"纯规划"的思想产生了张力。

Slide 6 澄清了术语的本质："loop"（环路）指的是信息流的方向。闭环（closed-loop）：状态反馈到动作选择——双向信息流。开环（open-loop）：动作序列在 $t=1$ 发送出去后就"一去不复返"——单向信息流。这个区分在控制理论中历史悠久，但在 model-based RL 中具有独特的内涵：开环规划简化了计算（只需优化一个序列而非一个策略），但以丧失对随机性的应对能力为代价。

概念详解

Slide 9 介绍了开环规划中最简单直接的方法：随机打靶法（Random Shooting Method）。其思想近于原始的"猜然后检验"（guess & check）：从某个提议分布 $p(a_1, \ldots, a_H)$ 中采样 $N$ 条候选动作序列；使用学到的模型 $\hat{p}_\phi$ 将每条序列展开为完整的轨迹 $\tau_i = (s_1, a_1^i, s_2^i, \ldots, s_H^i, a_H^i)$；用模型预测的奖励计算每条轨迹的累积奖励 $J(\tau_i) = \sum_t \hat{r}(s_t^i, a_t^i)$；选择奖励最高的序列作为输出。

随机打靶法的问题是方差极大——在一个高维动作空间中（$H \cdot d_a$ 维），从固定分布中盲目采样，绝大多数候选序列的奖励都很低（或不可行）。Slide 10 引入了交叉熵方法（Cross-Entropy Method, CEM）作为自然升级：迭代地精炼提议分布——每一轮采样的"精英"序列（奖励最高的前 $M$ 条）被用来更新提议分布的参数（通常是一个高斯分布），使下一轮的采样向高奖励区域集中。

CEM 的数学核心是重要性加权更新：设提议分布为 $\mathcal{N}(\mu, \Sigma)$。每轮采样 $N$ 条序列，选出奖励最高的前 $K$ 条（"精英集" $\mathcal{E}$）。然后用精英集的样本均值与协方差来更新 $\mu$ 和 $\Sigma$：

$$\mu_{\text{new}} = \frac{1}{K}\sum_{i \in \mathcal{E}} \mathbf{a}_i, \quad \Sigma_{\text{new}} = \frac{1}{K}\sum_{i \in \mathcal{E}} (\mathbf{a}_i - \mu_{\text{new}})(\mathbf{a}_i - \mu_{\text{new}})^\top$$

这相当于在动作序列空间中执行一种无梯度的分布优化——逐步将搜索集中在最有希望的区域。Slide 10 也提到了与之相关的 CMA-ES（Covariance Matrix Adaptation Evolution Strategy）——可以理解为"带动量项的 CEM"，通过对协方差矩阵的平滑更新来增强稳定性。

概念详解

Slide 11 以毫不含糊的方式总结了随机优化方法（随机打靶、CEM 及其变种）的两大根本限制：

限制 1：非常严厉的维度上限（Very harsh dimensionality limit）。动作空间的维度是 $H \cdot d_a$——当规划视界 $H$ 增长或动作维度 $d_a$ 增加时，搜索空间呈指数级膨胀。在实践中，CEM 在 $H \cdot d_a \lesssim 100$ 的范围内是可行的，超过这一界限，即使迭代精炼也无法在合理的采样预算内覆盖有意义的搜索体积。

限制 2：仅为开环规划（Only open-loop planning）。CEM 输出的是一个固定的动作序列——它不能在执行过程中根据实际到达的状态做出调整。对于涉及接触、碰撞、多模态转移分布的复杂动力学，开环序列无论多精细，都无法匹敌闭环策略的适应性。

Slide 11 列举了三种适用于不同场景的替代规划范式：蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）——通过树的生长与 UCB 式节点选择在离散动作空间中高效搜索，AlphaGo/AlphaZero 的核心引擎；连续轨迹优化（如 LQR / iLQR）——利用梯度信息在连续空间中高效求解最优控制，适用于局部模型是光滑可微的场景；基于树的运动规划（如 RRT/RRT*）——在配置空间中通过随机树扩展来探索高维连续空间，广泛用于机器人运动规划。

Slide 12 引出了本讲与第15讲的关键连接：如何在不完美的、有不确定性的模型下规划？如果我们有的是一个确定性模型的分布（distribution over deterministic models）——这正是第15讲的 Bootstrap Ensembles——我们可以在每个模型上独立执行确定性规划，然后聚合结果，或使用悲观/乐观修正。其他选项包括矩匹配（moment matching）——将模型分布的前两阶矩传入规划器——以及基于 BNN 的更复杂的后验估计。

Slide 13 展示了 model-based RL 在真实世界中的一个经典案例：Nagabandi et al. 2019 — Deep Dynamics Models for Learning Dexterous Manipulation。这项工作训练了一个基于深度网络的动力学模型来操控一只多指灵巧手执行物体旋转等复杂操作，是 model-based RL 在真实机器人上的里程碑式验证。

概念详解

第2章以 Slide 15 的"概念性学到的模拟器算法"图重新开场——这是一个贯穿第15讲和第16讲的枢纽可视化：收集数据 → 学模型 → 在模型内运行算法 → 部署策略。不同的是，这一次幻灯片追问的核心变了：不是"模型学得好不好"，而是"在模型内运行什么算法"。

Slide 16-17 引入了一个关键的技术分岔口。当我们在学到的模型中优化策略时，有两种根本不同的方法计算策略参数 $\theta$ 的梯度：

路径 1 — 策略梯度（Policy Gradient）：

$$\nabla_\theta J(\theta) \approx \frac{1}{N}\sum_{i=1}^N \sum_{t=1}^H \nabla_\theta \log \pi_\theta(a_t^i|s_t^i) \cdot \hat{Q}(s_t^i, a_t^i)$$

这里的 $\hat{Q}(s_t^i, a_t^i)$ 可以从模型展开中通过蒙特卡洛回报估计得到。梯度流不穿过动力学模型——模型只被用来生成轨迹 $(s_t^i, a_t^i)$ 并估计回报，梯度仅对策略的对数概率求导。

路径 2 — 反向传播梯度（Backprop / Pathwise Gradient）：

$$\nabla_\theta J(\theta) = \nabla_\theta \mathbb{E}_{s_1}\left[ \sum_t \hat{r}(s_t, a_t) \right], \quad a_t = \pi_\theta(s_t), \quad s_{t+1} = \hat{f}_\phi(s_t, a_t)$$

梯度穿过动力学模型 $\hat{f}_\phi$——使用链式法则将通过模型的奖励直接反向传播到策略参数。与策略梯度不同，这种方法要求模型是可微的。

Slide 17 引用了 Parmas et al. 2018 (PIPP) 的分析来阐明两种方法的权衡：策略梯度可能更稳定（如果使用足够的样本），因为它不需要通过模型传播梯度——从而避免了多个 Jacobian 矩阵的连乘可能导致的不稳定性。

概念详解

Slide 18 抛出了一个直击要害的问题："Model-based RL via policy gradient——这种方法可能出什么问题？"答案在 Slide 19 展开：误差随 rollout 长度累积。每一步，学到的动力学模型 $\hat{f}_\phi$ 的预测误差 $\epsilon_t = s_t^{\text{true}} - \hat{s}_t$ 不仅影响当步——它被馈入下一步的输入，使得下一步的预测在已经偏离的起点上进行。这种误差的复合（compounding errors）意味着第 $H$ 步的预测状态可能与真实状态相差甚远——模型展开的轨迹逐渐"漂移"出真实状态分布。

Slide 19 的图示（尽管我无法看到，但可以从讨论中推断）刻画了预测误差随 rollout 步数增长的趋势——可能是线性增长（偏差累积）或指数增长（在混沌动力学中）。Slide 20 提出了对抗这一诅咒的核心策略：使用短 rollout。

Slide 20 用一张四象限图权衡了长 rollout 和短 rollout 的利弊：

长 rollout（从真实状态开始，展开到 $H$）：
+ 能看到后期时间步（覆盖整个 episode 的状态）
- 巨大的累积误差（$\approx \epsilon \cdot H^2$ 或更差）
- 永远看不到后期时间步的"真实"状态（完全在模拟中）

短 rollout（从真实 replay buffer 状态开始，展开 $k \ll H$ 步）：
+ 低得多的累积误差（只有 $k$ 步的误差累积）
+ 看到所有时间步（因为每次都从 replay buffer 中的真实状态开始）
- 使用的是"错误"的状态分布（模型只负责短延伸，但这些短延伸的起点来自 replay buffer，而非当前策略在真实环境中的实际访问分布）

概念详解

Slide 22 致敬了 model-based RL 的经典起源：Richard S. Sutton 的 Dyna 架构（"Integrated architectures for learning, planning, and reacting based on approximating dynamic programming"）。Dyna 的核心思想是将学到的模型无缝嵌入 model-free 算法的数据流：在真实环境中收集的 transition $(s, a, r, s')$ 既用于直接更新 Q 函数（model-free 路径），也用于训练环境模型；环境模型随后生成额外的模拟 transitions——这些"想象中的经验"与真实经验混合在一起，共同用于 Q 函数更新。这是一个优雅的统一——model-free 和 model-based 不是二选一，而是一个连续谱上的互补成分。

Slide 23 将 Dyna 的思想提炼为通用的"Dyna 式 model-based RL 配方"：

1. 从真实环境中收集数据，存入 replay buffer $\mathcal{D}_{\text{real}}$
2. 使用 $\mathcal{D}_{\text{real}}$ 训练动力学模型 $\hat{p}_\phi$
3. 从 $\mathcal{D}_{\text{real}}$ 中随机采样真实状态 $s$，在模型 $\hat{p}_\phi$ 中展开 $k$ 步（$k$ 可以小到 1）
4. 将模型生成的 transitions $(s, a, \hat{r}, \hat{s}')$ 存入一个模型缓冲区 $\mathcal{D}_{\text{model}}$
5. 从 $\mathcal{D}_{\text{real}} \cup \mathcal{D}_{\text{model}}$ 中采样进行 model-free 更新（策略梯度或 Q-learning）

Slide 24 展示了这一配方在离线 RL（off-policy RL）架构中的具体实现。真实 transitions 从环境流入 replay buffer；模型从 replay buffer 中学习并生成模型 transitions；两个来源的数据混合后用于 Q 函数或策略的更新。关键是：值函数和策略的更新算法完全不变——模型只负责生成额外的"增强"数据。

Slide 25 呈现了沿这一谱系的三个标志性算法，按模型使用的深度递增排列：

MBA — Model-Based Acceleration（Gu et al. 2016）：使用学到的模型从真实状态出发展开多步，生成额外的"想象"数据来加速 Q-learning。这是 Dyna 的直接神经化实现——模型作为数据增强器。

MVE — Model-Based Value Expansion（Feinberg et al. 2018）：不生成额外的训练数据，而是用模型展开来改进值估计的准确性。对每个真实 transition 的 target value，不只用单步 TD 目标 $r + \gamma V(s')$，而是展开模型 $k$ 步：

$$\hat{V}_{\text{MVE}}(s) = \sum_{t=0}^{k-1} \gamma^t \hat{r}_t + \gamma^k V(\hat{s}_k)$$

将单步 TD 扩展为 $k$ 步模型辅助的 $k$-步回报——在不增加模型误差过多的前提下降低值估计的偏置。

MBPO — Model-Based Policy Optimization（Janner et al. 2019）：系统性地回答了"模型展开多长"这一问题。MBPO 的核心理论贡献是提出了模型使用的分支长度与误差累积之间的定量权衡：在每个模型分支中，模型展开的步数 $k$ 应随模型精度的提高而增加，随模型对策略分布偏移的敏感度提高而减少。Slide 25 展示了为什么 MBPO 同时具有"好理由"（+）和"坏理由"（-）——好理由是它理论上严谨、实践中有效；坏理由是分支长度 $k$ 的选择仍依赖于对模型质量的经验判断。

概念详解

Slide 26 以一个幽默的"幕间休息"作为第2章与第3章的过渡，然后 Slide 27-28 提出了第3章的核心问题：模型应该作用在什么表示空间上？

迄今为止的讨论假设模型直接作用在原始观测空间上——如 $s_{t+1} = \hat{f}_\phi(s_t, a_t)$，其中 $s_t$ 是像素、关节角等原始传感器读数。但 Slide 29 提出了一个更深刻的替代：潜空间状态模型（Latent State Space Models）。在这一框架中，环境的状态不是直接观测的——我们观测到的是状态的噪声投影 $o_t$（observation），而真正的动力学作用在一个低维的潜状态 $z_t$ 上：

$$p(o_t | z_t) \quad \text{— 观测模型（decoder）}$$ $$p(z_{t+1} | z_t, a_t) \quad \text{— 潜动力学模型}$$ $$p(r_t | z_t, a_t) \quad \text{— 奖励模型}$$

Slide 29 通过三个关键问题揭示了这一框架的设计空间："先验 $p(z_1)$ 是什么？""解码器 $p(o_t|z_t)$ 是什么？""编码器 $q(z_t|o_t)$（或更一般的 $q(z_t|o_{\leq t})$）是什么？"——这三个问题的答案定义了不同的潜空间模型变体。

Slide 30 进一步明确了编码器的结构性选择：编码器本质上是一个序列模型——它将观测序列映射到潜状态序列。这个序列模型的架构可以是 LSTM、Transformer 或其他任何序列编码器。编码器的输出是潜状态的后验分布 $q(z_t|o_{1:t}, a_{1:t-1})$（滤波后验）或 $q(z_t|o_{1:T}, a_{1:T-1})$（平滑后验）。

Slide 31 将潜空间模型与标准（完全观测）模型做了对比。标准模型：

$$\text{maximize} \quad \frac{1}{N}\sum_i \sum_t \log p_\phi(s_{t+1}^i | s_t^i, a_t^i) \quad \text{— 观测到状态，直接极大似然}$$

潜空间模型：

$$\text{maximize} \quad \mathbb{E}_{q(z_t|o_{\leq t})} \left[ \log p(o_t|z_t) + \log p(z_{t+1}|z_t, a_t) + \log p(r_t|z_t, a_t) \right] - D_{\text{KL}}(q \| p_{\text{prior}})$$

后一项是 KL 正则化项——它鼓励编码器输出的后验分布不要偏离先验太远，从而使潜空间更规整、更可预测。这是变分推断（variational inference）在序列模型中的标准应用。

概念详解

Slide 32 将编码器的选择刻画为一个精度-复杂度谱系：

全平滑后验（Full Smoothing Posterior） $q(z_t|o_{1:T}, a_{1:T-1})$：使用完整序列（包括未来观测）来推断每个时刻的潜状态。这利用了所有的可用信息——包括"回头看"已发生的事情来修正对过去的理解——在部分可观测环境中尤其关键。+ 最准确 | - 最复杂（需要双向推断，不能在线执行）。

单步编码器（Single-Step Encoder） $q(z_t|o_t)$：仅使用当前帧来推断潜状态。结构最简单，可以在线执行。+ 最简单 | - 最不准确（单帧信息量可能不足以推断完整状态）。

Slide 33 专门讨论了确定性编码器：$z_t = e_\psi(o_t)$（一个确定性的映射，而非概率分布）。"为什么这种编码器可能不好？"——确定性编码器将所有的观测噪声直接注入潜状态，使潜状态成为一个"污染的"表示。如果 $o_t$ 中有偶然噪声（如传感器噪声、光照扰动），确定性编码器会将这些噪声嵌入潜状态——而动力学模型随后需要在有噪声的潜状态上做预测——增加了模型的不必要负担。随机编码器通过 $q(z_t|o_t) = \mathcal{N}(\mu_\psi(o_t), \sigma_\psi^2(o_t))$ 的形式为每个潜状态给出一个分布，允许模型表达"我不太确定这个帧的潜状态"的不确定性——这与第15讲关于偶然 vs 认知不确定性的讨论形成完美的前后呼应。

Slide 34 展示了实践中常用的架构：潜空间动力学（通常是 RNN 或 Transformer）、图像重构（解码器）、奖励预测——三者联合训练。许多实用方法使用随机编码器或更复杂的平滑后验。Slide 35 给出了训练循环的视觉化：从 replay buffer 采样轨迹 → 运行编码器获得 $z_t$ → 在潜空间中展开动力学几步 → 计算重构损失与奖励预测损失 → 反传更新。

概念详解

Slide 36 提出了一个将 actor-critic 架构天然地推广到 model-based 设置的设计：Actor-Critic with Learned Representations。在这一框架中，replay buffer 中的观测首先通过编码器映射到潜状态 $z_t$；actor $\pi_\theta(a_t|z_t)$ 和 critic $Q_\phi(z_t, a_t)$ 都操作在潜空间上——不需要看到像素。模型在这个架构中扮演了双重角色：一方面提供潜状态的动力学预测，另一方面生成用于 actor-critic 训练的想象数据。

Slide 36 提出了一个有趣的追问："为什么我们可能想要一个全滤波/平滑后验？"——更好的后验意味着更有信息量的潜状态，进而 actor 和 critic 在一个更干净、更完整的表示上做决策。但全平滑后验的成本是高昂的（不能在线执行、训练更复杂）。"为什么可能偏好全滤波/平滑后验？"——答案在于信息保留：在部分可观测场景中，当前帧可能缺失了关键信息（如物体的速度、被遮挡的物体），而这些信息在历史帧中可以推断——更完整的后验 ="更完整的状态"= 更好的决策。

Slide 37 展示了这一融合架构的完整信息流：真实 transitions 流入 replay buffer → 被采样用于训练编码器、动力学、actor、critic → 模型生成想象 transitions 加入 replay buffer → 闭环循环。这是一个端到端的表示-模型-策略联合学习架构。

Slide 38 以直观的对比作为第16讲的视觉化收尾：真实 rollouts（真实环境中的轨迹）vs 模型"想象"的 rollouts（潜空间模型生成的轨迹）。"Representation learning and model-based RL"的核心信息在这一视觉对比中凝聚：学到的潜表示使得模型可以在低维语义空间中想象未来——而不是逐像素地渲染整个未来世界。