CS 285 Lec 14: RL with Sequences & LLMs

深度剖析 — IRL 的数学定义

IRL 的形式化定义（Ng & Russell, 2000）如下：给定一个 MDP（不含奖励函数）以及一组专家演示轨迹 $\mathcal{D}_{\text{demo}} = \{\tau_1, \tau_2, \ldots\}$（每条轨迹 $\tau = (s_0, a_0, s_1, a_1, \ldots)$），找到一个奖励函数 $r(s,a)$ 使得专家策略 $\pi_E$ 在这个奖励函数下是最优的。但这一定义面临一个根本问题：退化解——全零奖励 $r(s,a) \equiv 0$ 使得所有策略都是最优的！IRL 需要一个额外的结构假设来排除这种退化解——典型的做法是引入最大熵/最大边际原则：奖励函数不仅应使专家最优，还应使专家的优势尽可能大（相对于其他策略），从而唯一地确定一个有意义的奖励函数。

在最大熵 IRL（Ziebart et al., 2008）中，最优策略的形式为 $\pi(a|s) \propto \exp(Q_{\text{soft}}(s,a))$，其中 $Q_{\text{soft}}$ 由 soft Bellman 方程定义。在这种框架下，给定奖励函数可以唯一确定策略，而给定（随机）策略也可以唯一地反推奖励函数——奖励函数被"识别"了。这一理论与第12–13讲的"控制即推断"框架完美咬合，构成了本讲 IRL 讨论的数学基础。

深度剖析 — 配分函数与 IRL 梯度

配分函数 $Z(\psi)$ 是 IRL 训练的计算瓶颈。它的梯度揭示了训练过程的对抗性本质：

这个梯度的结构是本质性的而不是巧合。第一项在专家轨迹上增加奖励函数的响应——奖励函数被训练为认为"专家做的是好的"。第二项在当前 soft-optimal 策略 $\pi_\psi$（即给定当前奖励函数时的"最优"策略）生成的轨迹上降低奖励——奖励函数被训练为认为"当前模型觉得好但专家不会做的事是不好的"。两项之间的拉扯构成了一种隐式的对抗博弈：奖励函数试图区分专家和模仿者，策略（通过其对配分函数的影响）试图逼近专家。Slide 6 专门讨论了如何估计这个梯度——配分函数梯度中的第二项期望需要从 soft-optimal 策略中采样，这本身需要一个内部 RL 循环。

计算 $Z(\psi)$ 梯度的主要策略：

• 直接采样：在当前 soft-optimal 策略下运行 RL 来生成轨迹样本。优点是无偏，代价是每次奖励更新都需要内部 RL 循环——计算上极其昂贵。
• 重要性采样（Slide 8）：用旧策略 $\pi_{\text{old}}$ 的样本来估计当前期望，通过重要性权重 $\frac{p(\tau|\mathcal{O}_{1:T},\psi_{\text{new}})}{p(\tau|\mathcal{O}_{1:T},\psi_{\text{old}})}$ 来修正分布差异。这避免了每次梯度更新都重新采样，但重要性权重的方差在高维轨迹空间中可能很大。
• 对抗方法（Slide 9-12）：将配分函数的学习"外包"给一个判别器——这就是 IRL 与 GAN 等价的本质。

深度剖析 — 交替优化的动力学

引导式代价学习的交替结构是理解 IRL 与 GAN 等价性的关键。在每一轮交替中：

1. 策略步骤：固定奖励 $r_\psi$，在 soft-optimal 后验下（近似地）采样轨迹。这可以通过运行任何 model-free RL 算法（如 TRPO、PPO）来完成，奖励函数为 $r_\psi$
2. 奖励步骤：固定轨迹分布，更新 $\psi$ 来最大化专家轨迹的似然，同时最小化当前策略轨迹的似然（通过配分函数梯度）

这个交替过程的动力学与 GAN 完全相同——策略扮演"生成器"（试图生成看起来像专家轨迹的数据），奖励函数扮演"判别器"（试图区分专家轨迹和生成轨迹）。策略和奖励之间的相互作用定义了一个两人零和博弈，其中均衡点是专家轨迹和生成轨迹在分布上不可区分。这个洞察由 Ho & Ermon (2016) 和 Finn et al. (2016) 分别从不同角度独立阐明，现在成为连接 IRL 和深度学习的一个标准视角。

深度剖析 — IRL vs GAIL 的深层取舍

在 GAIL 中，我们完全放弃了显式的奖励函数学习，而是直接训练一个判别器 $D(s,a)$ 来区分专家和策略生成的状态-动作对。判别器的输出（或其对数几率）被直接用作策略的奖励信号：$r_{\text{GAIL}}(s,a) = -\log(1 - D(s,a))$ 或简化为 $\log D(s,a)$。策略通过标准 RL（如 TRPO）来最大化这个"伪奖励"。

这种方式极大地简化了训练流程——不再需要配分函数、重要性采样或内部 RL 循环。但 Slide 11 指出了一个关键的局限："判别器收敛后一无所知"（Discriminator knows nothing at convergence）。当策略完美地匹配专家分布后（博弈的纳什均衡点），判别器无法区分真实和生成样本——它输出恒定的 0.5。在这个点，判别器学到的所有关于任务结构的信息都消失了——它不再能告诉你什么是好、什么是坏，因为在训练分布内一切都是"同样好"的。Slide 12 总结道"实际上是一回事！"（actually the same thing!）——但从工程角度看，IRL 保留了一个可迁移的奖励函数，而 GAIL 只保留了一个在收敛时无用的判别器。

为什么这在 LLM 训练中很重要？在 RLHF 中，奖励模型（Bradley-Terry 模型）训练完成后被用来优化语言模型——这更接近传统 IRL 的"学习可迁移的奖励函数"范式，而非 GAIL 的"判别器在博弈中失效"范式。奖励模型的泛化性至关重要——它需要为训练中从未见过的 prompt-回答对给出合理的奖励估计。

深度剖析 — 自回归生成的动力学

从概率角度看，LLM 定义了一个在序列空间上的自回归因子分解：

每个条件分布 $p_\theta(x_t | x_{1:t-1})$ 是词表 $\mathcal{V}$ 上的 Softmax 分布（$|\mathcal{V}|$ 通常为 30,000–100,000+）。从 LLM 中生成文本（解码）时，常用策略包括：

• 贪心解码（Greedy）：每步选概率最大的 token——确定性，但容易陷入重复循环
• 温度采样（Temperature Sampling）：$p(x_t) \propto \exp(\text{logit}(x_t) / T)$——$T > 1$ 增加多样性，$T < 1$ 使输出更确定
• Top-k / Top-p（Nucleus）采样：截断低概率尾部后再采样，在质量和多样性间折中
• Beam Search：维护 $B$ 个最可能的候选序列——在翻译等任务中常用，但在开放式生成中容易产生重复

Slide 14 还有一个重要的补充标注："Language models are often trained with supervised learning"（语言模型通常使用监督学习训练）。这一点强调了预训练阶段使用的是自监督学习（预测下一个 token 的交叉熵损失），而非强化学习。RL 只在后训练阶段介入。

深度剖析 — 指令微调的局限与 RL 的必要性

Slide 17 讨论了最基本的后训练方式：指令微调（Instruction Tuning, Chung et al. 2022, "Scaling Instruction-Finetuned Language Models"）。给定数据集 $\mathcal{D}_{\text{SFT}} = \{(x_i, y_i^*)\}$（指令 $x_i$ 和标注员写的理想回答 $y_i^*$），使用标准的监督学习损失来微调模型：

这等同于在高质量数据上继续做下一个 token 预测——技术上与预训练完全相同，只是数据分布发生了根本变化（从"任意互联网文本"到"有用的回答"）。

指令微调的局限性揭示了 RL 在后训练中不可替代的角色：

1. 标注成本：写出高质量的完整回答极其昂贵，尤其对于需要专业知识的任务（编程、数学、法律）。比较两个回答哪个更好则容易得多——这正是 RLHF 利用的"相对偏好"优势。
2. 质量天花板：模型只能学到标注员的水平，无法通过自我探索超越。
3. 覆盖不完整：不可能为所有可能的指令提供标注——模型必须学会泛化。
4. 分布偏移：SFT 训练的是"模仿标注员"，但部署时用户的问题分布可能与标注时的分布不同——模型没有机制来适应这种偏移。

RL 后训练的核心优势：它允许模型从相对反馈中学习（"B 比 A 好"而非"完美的 A 是什么"），并且通过探索可以自我改进——生成候选回答 → 评估 → 优化，循环往复。

深度剖析 — 两种范式的对比

这两种 RL 后训练范式代表了 AI 对齐研究中两条互补的路线：

偏好学习（RLHF）适用于没有客观标准答案的任务——写作风格、对话礼貌性、创意生成、摘要质量等。这些任务的共同特征是"好"是主观的——不同的人有不同的偏好。RLHF 通过从大量标注员的共识中学习奖励模型来处理这种主观性。Bradley-Terry 模型将成对偏好聚合为一个一致的奖励函数，奖励模型隐式地代表了"平均标注员"的偏好。

验证器学习适用于有客观标准答案的任务——数学证明、代码生成、逻辑推理等。这些任务的优势是奖励信号可以自动获取（代码可以自动运行测试、数学题可以自动验算），大大降低了人工标注成本。但挑战在于信用分配：如果最终答案正确，推理链中的每一步都该被奖励吗？如果最终答案错误但中间大部分步骤都正确呢？这引出了"过程奖励"（Process Reward）的需求——第4章会详细讨论。

两种方法的结合是当前的前沿方向：在同一个训练流程中同时使用偏好奖励（确保回答风格合适、格式规范）和验证器奖励（确保回答事实正确、逻辑严谨）。这种混合监督方式在数学推理和代码生成的后训练中表现出了显著的协同效应。

深度剖析 — LLM-RL 的独特挑战

将 LLM 文本生成形式化为 RL 问题后，出现了几个经典 RL 中未见的独特挑战：

1. 动作空间的规模。词表大小 $|\mathcal{V}|$ 通常在 30,000–100,000+ token。这是一个极大且离散的动作空间。在标准 RL 中（如 Atari 的 18 个动作或连续控制的 6 维空间），我们可以计算所有动作的 Q 值或轻松采样。但在 LLM 中，计算所有 token 的 Q 值需要评估 $|\mathcal{V}| = 50,000$ 个动作——这在每次 token 生成中都是极其昂贵的。这解释了为什么 LLM RL 几乎只使用策略梯度方法（如 PPO、REINFORCE）而非值函数方法（Q-learning）——策略梯度只需要对实际采样动作的 log-prob 求梯度，不需要评估词表中所有动作。

2. 稀疏奖励与信用分配。奖励通常只在完整序列生成后才给出。一条 512 token 的序列中，哪个 token 对最终的高/低奖励"贡献"了最多？这是经典的时间信用分配（Temporal Credit Assignment）问题，在 LLM 的 token 级粒度上尤为突出。GAE 和值函数基线是缓解这个问题的关键工具。

3. KL 散度的坑。策略 $\pi_\theta(y|x)$ 不能偏离预训练模型太远——否则会生成无意义的文本。因此 LLM RL 总是包含一个 KL 正则化项，约束优化后的策略靠近参考策略 $\pi_{\text{ref}}$。这在经典 RL 中没有直接对应——它反映了 LLM 后训练中"保持语言能力"的特殊需求。

深度剖析 — 在 LLM 中使用 PPO 的独特考量

在 LLM 中使用 PPO 与在传统 RL 中使用 PPO 有几个重要区别：

每个 prompt 采样 K 个回答。标准做法是对同一个 prompt 采样多个独立回答（$K$ 通常为 4–16），然后用这些回答的经验平均来估计优势函数。这与 GRPO（Slide 28）的思想一致——同一个 prompt 的多个回答自然构成了一个 mini-batch，其平均奖励提供了无需值函数的基线。

Per-token vs per-sequence 的 Clip。PPO 的 clip 可以在 token 级别（每个 token 的概率比被独立 clip）或序列级别（整个回答的平均概率比被 clip）。Token 级别的 clip 更精细但计算开销更大；序列级别实现更简单。实践中，token 级别的 clip 通常效果更好。

KL 散度惩罚。在 LLM RL 中，PPO 的奖励信号通常被修改为包含 KL 惩罚项：

这个修正鼓励策略在优化奖励的同时保持与参考模型的接近性，防止"奖励黑客"（reward hacking）——策略学会利用奖励模型的缺陷来获取高分，但生成文本实际质量下降。

深度剖析 — LLM 值函数的设计选择

在 LLM 场景中，值函数的设计有几个微妙的考量：

参数共享 vs 独立网络。Slide 27 展示了两个选择：在现有 Transformer 上加一个值函数输出头（"add a new head"）或者复制整个网络作为独立的 Critic（"make a copy of the entire network"）。前者的优势是参数效率高——值函数与策略共享 Transformer 的表示层，避免了存储两个大模型的成本。后者的优势是避免了策略和值函数训练之间的干扰——它们可以在不互相影响的情况下独立优化各自的参数。在资源允许的情况下，独立 Critic 通常更稳定。

只在后缀上训练值函数。值函数 $V_\phi$ 只在模型生成的回答部分（suffix）上训练，而不在 prompt 上训练。原因：prompt 是外生给定的，模型无法控制用户问什么，对 prompt token 估计"价值"不仅没有意义，还会浪费值函数的容量。从工程角度看，这等于把值函数的训练数据限制在模型可以控制的状态上。

GAE 在 LLM 中的应用。广义优势估计（GAE, Schulman et al. 2016）通过组合多步 TD 误差来平衡偏差和方差：

其中 $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ 是单步 TD 误差。$\lambda \in [0, 1]$ 控制偏差-方差权衡：$\lambda=0$ 退化为单步 TD（高偏差低方差），$\lambda=1$ 等价于 Monte Carlo（无偏差高方差）。在 LLM 场景中，GAE 帮助在 token 级别的稀疏奖励中进行更精准的信用分配。

深度剖析 — GRPO vs 值函数基线的深层权衡

GRPO 和值函数基线代表了两种不同的方差降低策略：

值函数基线（如 GAE + Critic）通过学习一个显式的 $V_\phi(s)$ 来估计"从这个状态开始，平均能得多少分"。这是跨 prompt 泛化的——值函数试图学习一个在所有 prompt 和所有前缀上定义的全局价值函数。它的优势在于可以利用大量历史数据来学习，劣势在于需要训练和维护一个额外的网络，并且值函数估计的误差会直接影响策略梯度。

GRPO使用同一个 prompt 的 $K$ 个样本的组内平均作为基线。这是per-prompt 局部估计——不需要跨 prompt 泛化，不需要额外的网络。它的优势在于实现简单、不受值函数估计误差影响、且自然避免了"不同 prompt 难度不同"导致的方差。劣势在于：每个 prompt 需要 $K$ 个样本（增加了推理成本），且 $K$ 个样本的组内平均只有在 $K$ 足够大时才是一个好的基线。

Slide 29 介绍了参考模型正则化（Reference Model Regularization）——LLM RL 中另一个关键组件。在策略优化的目标函数中加入 KL 散度惩罚项：

其中 $\pi_{\text{ref}}$ 通常是预训练模型（或 SFT 后的模型），$\beta$ 控制正则化强度。这个惩罚项有双重作用：(1) 防止策略生成无意义的文本——如果偏离预训练模型太远，语言模型会"崩溃"；(2) 防止奖励黑客（reward hacking）——策略可能学会利用奖励模型 $r_\psi$ 的缺陷（如生成奖励模型评分高但实际质量差的文本），KL 约束确保策略不会飘移到奖励模型不可靠的区域。

深度剖析 — Bradley-Terry 的统计性质与训练

Slide 32–33 指出 Bradley-Terry 模型与棋类 Elo 评分系统使用同一种数学原理。在 Elo 中，玩家 A 击败玩家 B 的概率由他们的评分差异通过逻辑函数决定——这正是 Bradley-Terry。这一联系意味着学到的奖励分数具有明确的概率解释：奖励差 $\Delta r = r(y_1) - r(y_2)$ 为 0 时偏好概率为 50%（两个回答同样好），$\Delta r = 1$ 时偏好概率为 $\sigma(1) \approx 73\%$（$y_1$ 有 73% 的概率被偏好），$\Delta r = 2$ 时约 88%，以此类推。

奖励模型 $r_\psi$ 的训练等价于一个逻辑回归（logistic regression）问题。给定偏好数据集 $\mathcal{D} = \{(y_w, y_l)\}$（$y_w$ 是被偏好的"winner"，$y_l$ 是"loser"），训练目标是最小化负对数似然：

这等价于一个二分类交叉熵损失——奖励模型需要学会"区分"更好和更差的回答。与需要绝对评分的回归方法不同，这个损失函数对评分漂移（如所有分数整体 +5）是不变的——它只依赖于相对差异，天然地适应了标注员之间的评分尺度差异。

指数假设的含义。Bradley-Terry 模型的核心假设是"指数上更受偏好的轨迹对应更高的奖励"（"better trajectories are exponentially more likely to be chosen based on their reward"）。这个指数关系的假设意味着：要做到"显著更可能被偏好"（如 95% 的概率），奖励需要领先约 $\log(19) \approx 3$ 个自然单位。而微小的奖励差异（如 0.1）在偏好概率上几乎不可区分（$\sigma(0.1) \approx 52.5\%$）。这种"奖励差异 → 偏好概率"的非线性映射，在大规模偏好数据上提供了有效的正则化——微小的奖励波动不会导致剧烈的偏好概率变化。

深度剖析 — "只用 1 次或很少几次迭代"的原因

Slide 34 提出了一个关键问题："Why?"——为什么 RLHF 通常只运行 1 次或很少几次（1-3 次）完整的"偏好收集 → 奖励训练 → RL 微调"循环？答案涉及 RLHF 的多个内在限制：

1. 奖励模型的不完美性。Bradley-Terry 奖励模型只是一个近似——它无法完美地捕获人类偏好的所有细微之处和语境依赖性。奖励模型在训练数据上只有有限的泛化能力。随着 RL 优化的进行，策略会逐渐生成落在奖励模型训练分布之外的回答——在这些新回答上，奖励模型可能给出高度不准确的评分。更危险的是，策略可能学会利用奖励模型的结构性缺陷（reward hacking）——例如生成表面上看起来很好（奖励模型给高分）但实际质量很差的文本。

2. 分布漂移的恶性循环。每一轮 RL 优化都会改变策略 $\pi_\theta$，从而改变策略生成的数据分布。但奖励模型是在"旧"策略（$\pi_{\theta_{\text{old}}}$）的数据上训练的。随着策略的漂移，策略生成的数据与奖励模型的训练数据之间的分布差异（distribution gap）越来越大 → 奖励模型在新数据上的评分越来越不可靠 → 策略被错误的奖励信号引导到越来越偏的方向。

3. 人类标注的经济约束。每一轮收集新鲜的人类偏好数据都需要时间和金钱。在每一轮 RL 后重新收集大量高质量的偏好标注是昂贵的，而且标注疲劳和质量衰减是实际问题。

Slide 37–38 展示了 RLHF 在 LLM 训练中的工程细节：奖励只赋给生成序列的最后一步——"Reward is assigned only at the last step of the generation"。这意味着整个 512+ token 的生成过程只从最终的一个奖励信号中获得反馈，信用分配需要通过值函数或 GRPO 来间接完成。Slide 38 用一图总结了所有涉及的模型及其关系：预训练 LLM → SFT 模型 → 当前策略 $\pi_\theta$（正在被 RL 优化）、参考模型 $\pi_{\text{ref}}$（SFT 模型的冻结副本）、奖励模型 $r_\psi$。

深度剖析 — 结果监督 vs 过程监督

验证器奖励和过程奖励代表了从"结果监督"（Outcome Supervision）到"过程监督"（Process Supervision）的演进。这一区分在数学推理和长链条逻辑任务中尤为关键：

结果监督的局限：假设模型生成了一条 12 步的数学推导链，最终答案正确。结果监督会给予整条链一个正向奖励——但这包括了可能在第 5 步"蒙对"的错误推理。更糟糕的是，如果最终答案错误但前 10 步完全正确（只在最后两步出错），结果监督给予整条链负向奖励——惩罚了绝大部分正确的行为。这种粗粒度的反馈使得优化信号极度嘈杂。

过程监督的优势：每一步推理得到独立的正确/错误判断。如果第 7 步推理出错，只有第 7 步及之后依赖于它的步骤被标记为错误；第 1-6 步的独立正确推理仍然获得正向奖励。这使得优化信号精确——模型知道具体在哪一步犯了什么类型的错误，从而能更有效地学习修正。

过程奖励的实现方法包括：(1) 人工标注每一步的正确性（昂贵但最准确）；(2) 自动验证中间步骤——如使用符号计算引擎验证代数变换的等价性；(3) 过程奖励模型（Process Reward Model, PRM）——训练一个独立的模型来自动判断中间推理步骤的正确性。OpenAI 的"Let's Verify Step by Step"（Lightman et al., 2024）是这一方向的关键工作。

深度剖析 — POMDP 如何颠覆标准 RL 的直觉

Slide 42 展示了 POMDP 导致的两个反直觉现象，它们深刻地挑战了标准 MDP 框架下的直觉：

现象 1：信息收集动作（Information-Gathering Actions）。在 POMDP 中，有些动作的主要目的不是获得即时奖励，而是减少不确定性以做出更好的后续决策。例如：在导航中"探头拐角处看看"——这个动作本身不会让你更接近目标，但能帮你决定走左边还是右边。在对话系统中问一个澄清问题——不会直接完成任务，但能帮你更好地理解用户意图。这种"为获取信息而行动"的行为在标准 MDP 框架中根本不可能出现——因为在 MDP 中，你总是能看到完整的状态，不存在"不确定性需要解决"。

现象 2：随机策略可以严格优于确定性策略。在标准 MDP 中，至少存在一个确定性的最优策略（Puterman, 1994）。但在 POMDP 中，随机策略可以严格优于任何确定性策略。Slide 42 展示了一个经典的简化例子：智能体在状态 A 和 B 中无法区分（相同的观测），从 A 开始，动作 1 在 A 中正确、在 B 中错误，A 有 50% 概率转移到 B。确定性策略"总是选动作 1"在 B 状态会得到很差的奖励；而一个随机策略"以 50% 概率选动作 1"可以打破由观测模糊性造成的"确定性陷阱"。关键洞察：在 POMDP 中，随机化可以防止环境（或对手）利用智能体确定性行为模式中的可预测性。

深度剖析 — 为什么 Q-learning 在 POMDP 中会崩溃

Slide 47 用一个具体例子展示了值函数方法在 POMDP 中的困境。考虑两个真实状态 $s_A$ 和 $s_B$，它们产生相同的观测 $o$（"感知混叠"）。在真实环境中，最优动作在 $s_A$ 中可能是"向左"，在 $s_B$ 中可能是"向右"。但 Q-learning 只能学习 $Q(o, \cdot)$——对同一观测 $o$，它只能存储一个 Q 值向量。因为 $o$ 不能区分 $s_A$ 和 $s_B$，Q-learning 学到的 $Q(o, a)$ 是对两个真实状态 $(s_A, s_B)$ 下期望回报的一种平均——这个平均策略通常不是两个真实状态各自的最优策略。更糟糕的是，这种"平均"不是智能体可以控制的——它完全由环境决定的观测噪声结构造成。

策略梯度方法可以（部分地）绕过这个问题：如果策略被参数化为依赖历史而非仅依赖当前观测——即 $\pi_\theta(a|h_t)$ 而非 $\pi_\theta(a|o_t)$——那么即使观测不区分 $s_A$ 和 $s_B$，包含观测-动作历史的 $h_t$ 可能能区分它们。例如，如果在 $s_A$ 中"向左"导致高奖励且转移到某个独特的观测，那么历史中包含了这个差异信息，策略可以学会"如果历史显示之前在这个观测下向左得到了高奖励，那么继续向左；否则向右"。

但关键的限制是：策略梯度只能找到"策略参数化类别内的最优策略"。如果策略被参数化为仅依赖当前观测的无记忆函数 $\pi_\theta(a|o_t)$，那么即使是策略梯度也无法克服 POMDP 的根本信息缺失。

深度剖析 — 序列模型架构与 POMDP 的总结

Slide 50 讨论了表示历史的实际架构选择：

固定长度历史（Fixed Short History）：只使用最近 $N$ 步的观测和动作。这在很多场景下"效果还不错"——因为较远的过去对当前决策的影响通常以折扣因子 $\gamma$ 衰减。但在需要"长期记忆"的任务中（例如，你需要记得 100 步之前看到的一个路标来决定现在走哪边），截断历史会导致信息丢失。Slide 50 评价道"有时这是不好的"（Sometimes... Is that bad? Sometimes...）——答案取决于任务需要多长的记忆。

序列模型（Sequence Model）：使用 RNN、LSTM 或 Transformer 将任意长度的历史 $h_t$ 压缩为一个固定维度的嵌入向量。Transformer 通过自注意力机制自动地对历史中的所有时间步进行加权——让模型自适应地决定哪些历史信息是重要的、哪些可以忽略。在 LLM 中，模型本身就是 Transformer，所以使用 full context 作为"状态"是自然的选择。

Slide 51 以一句醒目的总结收尾："POMDPs are weird!"（POMDP 很奇怪！）——它们挑战了许多基于 MDP 的直觉。"有些方法可以直接用"（策略梯度方法可以）、"但最高效的方法不能，因为它们需要值函数"（Q-learning 等需要马尔可夫性）、"我们甚至不需要为控制优化完美地建模状态"（预测与控制之间存在张力）。这最后一点正是 model-based RL 讲座（Lectures 15+）的核心前提——有时一个"足够好"的状态表示比一个完美的预测模型更有用。