285-4

[Gemini 3.1 Pro]，稍改动.

Lec17 Offline RL

1. 核心挑战：Distributional shift (分布偏移)。在离线数据集中，对于没有见过的动作（OOD actions），Q 网络的估计会有很大的方差（通常会高估），导致策略走向未知的危险区域。
2. 解决思路：Policy constraints (策略约束)。让策略尽量靠近数据集中的行为，或者让 Q 函数对未知动作保持悲观（Pessimism）。constraints 有:
3. 显式约束:
   1. [算法]+BC: 如 TD3+BC, SAC+BC。这要求严格使用离线数据集中的 input.
   2. BRAC: 加入 KL 或 MMD.
   3. BCQ: 用 VAE 拟合动作分布从而防止 OOD 动作.
4. 隐式约束: Offline.
   1. AWR: 放弃 PG，改为加权 BC，优势大的样本权重高.
   2. IQL: 在 dataset 中拟合高 expectile 的 V(s). 指导 Q 的学习然后指导 actor 的学习.

Lec18 Offline RL Algorithms

1. CQL (Conservative Q-learning)：在 Q 网络的 loss 中加入正则项，强行压低所有动作的 Q 值，同时抬高数据集中动作的 Q 值，从而实现悲观估计。
2. Offline-to-online：先离线预训练，再在线微调。难点在于刚开始在线训练时 Q 值会急剧下降。现代方法常结合 Diffusion 模型（如 IDQL, FQL）来缓解。
   1. e.g. 离线 IQL，在线 SAC.
   2. 由于切换到在线容易 OOD 而高估优势，我们离散改为先 BC Diffusion Policy 同时用 IQL 训练 Q. 切换到在线时，obs -> [RL] -> 噪声 -> [Diffusion 🧊] -> 动作 -> 奖励，以此更新 RL.

Lec19 Exploration

1. 探索与利用的困境：如何发现那些需要一长串动作才能获得奖励的策略（如蒙特祖玛的复仇）？
2. 乐观探索 (Optimistic exploration)：对未知的状态给予额外的“探索奖励”（exploration bonus）。
3. 伪计数 (Pseudo-counts)：在高维连续状态下，我们很难精确计数。可以通过拟合生成模型来估计状态的新颖度。
4. RND (Random Network Distillation)：用一个固定的随机网络作为目标，训练另一个网络去预测它的输出。预测误差越大的状态，说明越新颖（novelty 高），给予更高的探索奖励。

Lec20 RL Theory

1. 理论的目的：在强假设下理解算法误差是如何随参数变化的（比如误差随 horizon 增加而放大）。
2. Value Iteration 收敛性：贝尔曼最优算子是压缩映射，因此能保证收敛。
3. Fitted Q-iteration 分析：误差来源于两部分：采样误差（Sampling error，数据有限）和近似误差（Approximation error，神经网络表达能力有限）。误差会随着 horizon 的增加而累积（compounds）。

Lec21 & 22 Midterm Review

1. 这两节课复习了前期的核心内容，包括：Imitation Learning (DAgger 解决分布偏移), Policy Gradient (PPO, TRPO), Actor-Critic (GAE 降低方差), Q-learning (DQN, Double Q), Variational Inference (控制作为推断, SAC), 以及 Model-based RL (处理模型不确定性)。

Lec23 Exploration and Skill Learning

1. 无监督学习行为：如果没有奖励函数，我们能否让智能体自己学会各种多样的技能（skills）？
2. DIAYN (Diversity is All You Need)：最大化状态和技能 之间的互信息（Mutual Information）。直观上，不同的技能应该访问状态空间中不同的区域，且能通过状态轻易分辨出当前在执行哪个技能。
3. 目标达成 (Goal reaching)：也可以看作是最大化互信息的过程（如 Skew-Fit 算法）。

Lec24 Multi-Task and Hierarchical RL

1. 多任务 RL：像大模型一样，同时学习多个任务（如不同的目标、指令），可以加速学习并提升泛化能力。
2. 目标条件 RL (Goal-conditioned RL)：将目标 作为状态的一部分输入。
3. HER (Hindsight Experience Replay)：事后经验回放。如果没达到原定目标，就把实际到达的状态“重新标记”（relabel）为目标，这样失败的轨迹也能提供正向奖励！
4. Successor Representations (后继表示)：分离环境动态（状态转移）和奖励函数。如果奖励改变了，不需要重新学习环境动态。
5. 分层 RL (Hierarchical RL)：上层策略（High-level）输出目标或技能，下层策略（Low-level）执行具体动作。Meta-learning（如用 RNN 隐藏状态作为 context）也是一种强大的多任务/少样本学习方法。