强化学习理论 00：学习路线、符号表与机器人问题地图

学强化学习时，很容易认识了 observation、reward、actor、critic，却仍说不清它们为什么要这样连接。本系列把散落在机器人文章中的理论单独整理出来：先理解问题，再看完整的计算示例，最后回到训练代码。

入口固定在强化学习理论基础。按 00 → 03 学习，不需要先配置 Isaac Lab，也不需要从发布日期里寻找前置知识。

一、每一章解决一个问题

顺序	阅读	核心问题	覆盖内容
01	MDP、回报与 Bellman	眼前吃亏的动作，为什么可能长期更好？	同一状态的 $V^\pi$ 、 $Q^\pi$ 、 $A^\pi$ ，以及平均与最大值的区别
02	MC、TD 与价值学习	不知道环境模型，怎样从样本学价值？	MC、TD、SARSA 与 Q-learning 的目标，以及终止/截断的区别
03	策略梯度、GAE 与 PPO	连续动作不能逐个枚举，怎样直接改进策略？	GAE、正/负优势下的 PPO 裁剪，以及 actor/critic 分工

每章都按“直觉 → 定义 → 推导 → 计算示例 → 适用边界”展开。数字来自专门设计的教学任务，不是机器人训练测量结果；示例把符号与计算过程放在一起，便于和代码中的张量对应。

前置知识只需要：加权平均与条件期望、有限求和、导数与链式法则。看到 $\mathbb E[X\mid s]$ ，先读成“在当前状态是 $s$ 的条件下，对可能发生的结果做概率加权平均”。神经网络只是后面表示函数的一种方式，不是理解 Bellman 方程的前提。

本系列把一次交互记为 $s_t,a_t,r_t,s_{t+1}$ ： $r_t$ 是在 $s_t$ 执行 $a_t$ 后得到的奖励。有的教材把同一份奖励记作 $R_{t+1}$ ，换记号时要整体平移，不能只改公式中的一项。

记号	含义	机器人中的对应
$s_t$	环境状态，足以描述未来转移分布	机身、关节、接触与环境的充分状态
$o_t$	策略实际能看到的观测	编码器、IMU、历史观测、速度命令等
$a_t$	策略动作	归一化关节目标、力矩等，取决于接口
$r_t$	单步奖励	速度跟踪、能耗、接触等项的加权结果
$\pi_\theta(a\mid s)$	参数为 $\theta$ 的策略	actor；实际常接收 $o_t$ 而非完整 $s_t$
$\gamma$	折扣因子	对较远奖励的权重，通常 $0\le\gamma<1$
$G_t$	一条轨迹从此刻起的折扣回报	已实现或未来随机的奖励累加
$V^\pi(s)$	遵循策略 $\pi$ 时，状态的期望回报	critic 常估计的对象
$Q^\pi(s,a)$	先做指定动作，再遵循 $\pi$ 的期望回报	价值型控制与 off-policy actor–critic 常用
$A^\pi(s,a)$	$Q^\pi(s,a)-V^\pi(s)$	这个动作比当前策略的平均选择好多少
$\delta_t$	一步 TD 残差	当前奖励与下一状态估计带来的“意外”
$\lambda$	多步估计的混合参数	GAE 看多长的奖励证据
$\rho_t$	新旧策略对同一动作的概率/密度比	PPO 更新幅度的局部信号；不是奖励 $r_t$

帽子 $\hat V,\hat A$ 表示估计，星号 $V^*,Q^*$ 表示最优值；它们都不能和某一次采样回报 $G_t$ 混为一谈。向量动作的分布是联合分布，12 个关节的动作不等于 12 次独立的环境决策。

先建立下面的对应关系，再读工程长文，会更容易知道自己卡在哪一层。

MDP 与观测：理论状态是否真的能被传感器看到？若单帧不充分，历史堆叠或循环网络为何可能有帮助？接着看四足 MDP与Observation。
策略与控制接口：采样出来的 $a_t$ 怎样变成关节目标或力矩？接着看Action。
价值函数与网络维度： $V$ 的标量输出与 actor 的多维输出有什么区别？接着看Actor 与 Critic 输入输出维度。
GAE 与实际训练：rollout、bootstrap、mini-batch 各自在保存和消费什么？接着看PPO、rsl_rl 与 legged_gym 训练闭环。
理论与诊断：回报、策略标准差、KL、value loss 分别在测什么？接着看训练曲线诊断。
网络表达能力：MLP、RNN、Transformer 并不改变回报与 Bellman 的定义；它们改变函数表示与使用历史信息的方式。接着看常见模型与数学笔记。

机器人中的 reward 只是设计者选择的优化目标。总回报上升不能自动证明动作安全、泛化良好或可以部署实机。需要另行观察跌倒率、关节/力矩约束、跟踪误差、分布外场景及安全保护。

价值学习和策略优化可以从四个维度理解：估计对象是固定策略价值、最优价值或局部优化目标；更新目标来自已知模型、实际回报或网络估计；数据由行为策略产生，可能与目标策略不同；终止、外部截断与 buffer 收满对应不同的边界处理。各章分别展开这些区别。

Sutton 与 Barto：《Reinforcement Learning: An Introduction》第二版：01 对应第 3–4 章，02 对应第 5–7 章，03 衔接第 13 章。
OpenAI Spinning Up：关键概念：核对策略、回报、价值与动作分布的定义。
OpenAI Spinning Up：策略优化推导：核对 log-probability trick 与 baseline。

这些笔记按理解依赖重新组织，算例独立设计；各章末尾给出对应论文或官方说明，便于继续核对假设和实现细节。