CS 285 深度学习强化学习 — 第15讲 详细讲义

概念详解

本讲以一个大问题开篇："我们能学习一个模拟器吗？"（Can we learn a "simulator"?）这个问题的背景是：近年来，视频生成模型如 Veo 2、Sora 展示了令人震撼的能力——从文字描述生成逼真的物理世界视频，暗示了深度神经网络学习复杂环境动态的潜力。如果模型能够可靠地预测"给定当前状态 $s_t$ 和动作 $a_t$，下一时刻会发生什么 $s_{t+1}$"，那么它就成为了一个世界模型（World Model）——一个可以替代真实环境进行"虚拟试错"的模拟器。

"学习模拟器"的核心吸引力在于它的经济性：如果我们可以从已有的交互数据中学习一个足够准确的环境模拟器，那么我们就可以在这个学习到的模拟器中运行任意数量的"虚拟轨迹"来进行规划和策略优化——无需再在真实环境中执行代价高昂甚至危险的试错。人类在做复杂决策之前会在脑海中进行"心理模拟"（mental simulation）——棋手在落子前想象后续棋局、司机在变道前预判周围车辆的运动——Model-Based RL 试图为 AI 赋予同样的能力。

Slide 4 展示的概念性流程极其简洁：收集数据 $\mathcal{D} = \{(s, a, s')\}$ → 学习动力学模型 $\hat{p}_\phi(s_{t+1}|s_t, a_t)$ → 在学到的模型中运行 model-free RL 或规划算法 → 将优化后的策略部署到真实环境。这个流程看似没有漏洞——我们只不过把"真实环境"替换成了"学到的模拟器"——但 Slide 4 以一个尖锐的问题打破了这种乐观："Will this work well? Why might it fail?"。

概念详解

Slide 5-7 系统地剖析了"学模型 + 模型内规划"范式的三个关键失败维度：

失败模式 1：策略利用模型误差（Policy exploits model errors）。如果学到的动力学模型 $\hat{p}_\phi$ 在某个区域有系统性误差——例如低估了某个危险动作的负面后果，或高估了某个不可行路径的奖励——策略优化器（它只看到模拟器的输出）会天然地"利用"这些误差。优化器的目标是最大化累积奖励，如果模型在某区域"声称"奖励为 100 而实际只有 10，优化器会毫不犹豫地把策略引向那里。Slide 5 的表述直击要害："this policy matters a lot"——模拟器中看似最优的策略，部署到真实环境后可能是灾难性的。

失败模式 2：模型设计是领域相关的（Domain-specific model design）。Slide 6 用视频生成模型的案例做了说明：一个模型可以生成"类人机器人站在桌子旁，桌上放着红绿蓝三色方块，正在执行堆叠任务"的视频——视觉上非常逼真——但这并不意味着模型真正理解接触力学、摩擦力或稳定性约束。模型可能只是在像素空间中学会了"看起来合理"的插值，而忽略了决定物理交互成功与否的关键细节（比如方块是否被牢固地抓取、堆叠是否真的稳定）。

失败模式 3：大神经模型的计算成本。传统的物理引擎（MuJoCo、Isaac Gym）可以在毫秒级完成一次状态转移模拟。而深度学习世界模型的一次推理可能需要数十到数百毫秒。当规划算法需要在模拟器中展开数千条甚至上万条轨迹时（这在 model-based RL 中是常态），这种计算鸿沟是不可忽视的。Slide 7 暗示：即使我们解决了前面两个问题，计算瓶颈也可能使这种方法在实践中不可行。

概念详解

分布偏移（Distributional Shift）在 model-based RL 中有其特定的含义和形式。在监督学习中，分布偏移指的是测试分布与训练分布不同——但我们通常无法控制测试样本从何而来。在 model-based RL 中，情况更微妙也更危险：策略主动地选择去往哪些状态，而这些选择本身会改变模型所面临的数据分布。

形式上，令 $\mathcal{D} = \{(s_i, a_i, s_i')\}$ 为训练数据集，$\pi_\theta$ 为当前策略。在学到的模型 $\hat{p}_\phi$ 中进行规划时，策略在模型预测的状态序列 $\hat{s}_1, \hat{s}_2, \ldots, \hat{s}_H$ 上进行优化。这些预测状态 $\hat{s}_t$ 可能远离训练数据中任何 $s_i$ ——此时模型 $\hat{p}_\phi$ 处于分布外（out-of-distribution, OOD）——其预测可能完全错误。更糟糕的是，神经网络在分布外的行为是出了名的不可预测：它们可能输出极端值、产生过度自信的预测、或表现出完全不合理的泛化。

Slide 10 展示了一幅经典的教学绘图：模型在已探索区域（蓝点密集处）表现良好，但策略一旦试图"走出去"，模型预测就开始偏离真实环境。Slide 11 提出了一个尖锐的两难："我们应该走多远？"（But how far do we go?）——走得越远，模型越不可靠，学习速度越快。这个两难处在 model-based RL 中表现为探索-利用权衡的新维度：不仅是"探索未知以获取信息 vs 利用已知获取奖励"，更是"信任不完美的模型走多远"的问题。

概念详解

Slide 13 概述了应对分布偏移的两大类策略，它们在哲学上取向不同，但实践中常常互补：

策略 1：不要过多改变策略（Don't change the policy too much）。这是信任区域（trust region）方法的思路。如果新策略 $\pi_{\text{new}}$ 与旧策略 $\pi_{\text{old}}$（收集训练数据的那一个）之间的差异受到约束——通常通过 KL 散度 $D_{\text{KL}}(\pi_{\text{new}} \| \pi_{\text{old}}) \leq \delta$ ——那么新策略诱导的状态分布不会偏离训练分布太远。这与 TRPO 和 PPO 的核心思想一脉相承，但在 model-based RL 中，信任区域的目的不仅是防止策略崩溃，更是防止策略进入模型不可靠的区域。

策略 2：坚持模型"确信"的区域（Stick to places where the model is confident）。这要求模型不仅给出预测 $\hat{s}_{t+1}$ 或 $\hat{r}_t$，还要给出"我有多确定"的信号——即预测的不确定性估计。在模型不确定的区域，我们可以故意降低预测的吸引力（悲观主义），使策略自然地回避这些区域。Slide 13 列出了这一思路的具体实现：使用概率性模型来显式地量化不确定性；在不确定区域使用惩罚（penalty）来下调预测奖励或上调预测风险。

策略 3：两者结合。在实践中，信任区域和不确定性惩罚常常被同时使用——信任区域提供了"硬约束"（策略不能偏离太远），不确定性惩罚提供了"软引导"（在约束范围内自动避开最不确定的区域）。

概念详解

Slide 15 指出了悲观主义的一个关键盲点："Need to explore to get better"——需要探索才能变得更好。纯粹的悲观主义会使智能体无限期地停留在模型确定的区域——但那些区域可能只包含次优的策略。要发现更好的行为，智能体有时必须冒险进入不确定的区域，收集数据，降低这些区域的不确定性——从而在未来做出更有信息的决策。

Slide 15 用三个陈述精确刻画了不同估计方式在探索-利用连续谱上的位置：

• 期望值不是悲观值（Expected value ≠ Pessimistic value）：悲观值系统性地低估不确定区域的真实收益——它只看到风险而看不到机会。
• 期望值不是乐观值（Expected value ≠ Optimistic value）：乐观值（$\mathbb{E}[\hat{r}] + \alpha \cdot \sigma$）会激励智能体进入高度不确定的区域——它只看到机会而看不到风险。
• ……但期望值通常是一个好的起点（but expected value is often a good start）：一个平衡的起点是在期望值的基础上进行适度的修正（偏悲观或偏乐观，取决于任务的安全要求）。

概念详解

Slide 16-17 引入了机器学习中一个至关重要的区分：两种根本不同的不确定性类型。这个区分在预测建模中普遍存在，但在 model-based RL 中具有特殊的重要性——因为两种不确定性需要被区别对待。

偶然不确定性（Aleatoric Uncertainty）：源于数据本身的固有随机性。名称来自拉丁语 "alea"（骰子）。这种不确定性与模型的质量或训练数据量无关——即使我们有无限数据和完美模型，它也不会消失。在 RL 环境中，偶然不确定性对应的是环境动态中不可约的随机性——比如掷硬币的结果、风速的随机波动、对手的不可预测行为。形式上，如果真实转移函数为 $p(s_{t+1}|s_t, a_t)$，即使我们完全准确地知道了这个分布，单次转移的结果仍然是不确定的——因为采样过程本身就是随机的。

认知不确定性（Epistemic Uncertainty）：源于我们对模型参数的知识不足。名称来自希腊语 "episteme"（知识）。这种不确定性可以通过收集更多数据来减少。在 model-based RL 中，认知不确定性反映了"模型在未见区域对自身预测的不确定程度"——这正是导致分布偏移问题的根源。Slide 17 给出了一个极佳的一行总结："模型对数据很确定，但我们对模型不确定"（the model is certain about the data, but we are not certain about the model）。

Slide 17 用了一个教学性的图示来演示这一区别：在两个场景中，数据点的散布（偶然不确定性）可能是相同的，但我们对底层函数的信念（认知不确定性）可以截然不同——取决于我们有多少数据以及数据覆盖哪些区域。

概念详解

Slide 18 提出了估计认知不确定性的核心直觉："模型有多不认同彼此？"（How much do the models disagree?）如果我们训练多个独立模型——由于不同的随机初始化、不同的数据子集或不同的训练路径——它们在数据充足的区域应该给出相似的预测（低分歧 → 低认知不确定性），在数据稀疏的区域则可能给出截然不同的预测（高分歧 → 高认知不确定性）。这种"模型分歧即不确定性"的思想简单但极其有效。

Slide 19 从理论最深处出发，介绍了贝叶斯神经网络（Bayesian Neural Networks, BNN）的概念。在标准神经网络中，每个权重是一个点估计：$\theta_i = \text{某个标量}$。在 BNN 中，每个权重是一个概率分布：$\theta_i \sim \mathcal{N}(\mu_i, \sigma_i^2)$。这背后的贝叶斯哲学是：权重应该是随机变量——我们不仅想知道"最好的权重值是多少"，更想知道"我们对每个权重值有多不确定"。

预测时，BNN 的流程是：从权重后验 $p(\theta|\mathcal{D})$ 中采样 $K$ 个模型（每个有不同的权重实现），对每个输入计算 $K$ 个预测，这些预测之间的差异量化了认知不确定性。原则上，这给出了认知不确定性的完整贝叶斯处理。Blundell et al.（"Weight Uncertainty in Neural Networks"）和 Gal et al.（"Concrete Dropout"）是这一方向的两篇关键文献。

Slide 20 介绍了一个在实践中更常用、计算上更友好的替代方案：Bootstrap Ensembles。核心思想直截了当：从原始数据集 $\mathcal{D}$ 中通过有放回采样（bootstrap resampling）生成 $K$ 个略有不同的数据集 $\mathcal{D}_1, \ldots, \mathcal{D}_K$；在每个上独立训练一个模型 $f_{\theta_k}$；这 $K$ 个模型之间的预测分歧度量了认知不确定性。直觉：如果某个区域在原始数据集中只有一个或极少的样本覆盖，不同 bootstrap 数据集在该区域的表示会出现显著差异，导致不同模型在该区域"各执一词"。

概念详解

Slide 22 以简洁的预告为第 15 讲收尾："Next time: use uncertainty-aware model to deal with distributional shift."（下次课：使用不确定性感知的模型来处理分布偏移。）这暗示了第 15 讲和第 16 讲之间的自然分工：本讲负责建立问题框架和提供基础工具，下一讲负责将工具整合为完整的算法。

Slide 22 还暗示了一个重要的选择：我们可以"运行我们学过的一种算法"（could run one of the algorithms we learned about），如简单的"学模型 + 在模型中使用 model-free RL"——但这并非最优方案——"有更好的选择"（there are better options here）。这指的是专门为 model-based 场景设计的算法，如基于模型的策略优化（MB-MPO: Model-Based Meta-Policy Optimization）、概率集成与轨迹采样（PETS: Probabilistic Ensembles with Trajectory Sampling）、以及后续讲座中会介绍的 Dreamer 系列。