强化学习理论 01：从 MDP、回报到价值函数与 Bellman 方程

一个动作现在得到 −1，另一个现在得到 +1，应该选哪个？如果前者可以打开后续 +4 的机会，就不能只比较眼前奖励。强化学习把“动作改变未来”这件事写进模型，再对长期结果做比较。

这一章先讨论有限状态、有限动作、平稳转移与有界奖励，取 $0\le\gamma<1$ ；终止状态之后的奖励为 0。连续控制和部分可观测情况在文末解释差异。

一、MDP：把一次决策说完整

用 $\mathcal M=(\mathcal S,\mathcal A,P,R,\gamma,\rho_0)$ 表示马尔可夫决策过程：状态集、动作集、转移概率、奖励规则、折扣与初始状态分布。元组列法因资料而异，关键是定义清楚。这里 $P(s'\mid s,a)$ 是转移概率， $R(s,a,s')$ 是相应条件下的期望奖励。

马尔可夫性说的是：给定充分状态 $s_t$ 和动作 $a_t$ ，未来转移的分布不再额外依赖更早历史。它不要求转移确定，也不要求机器人没有惯性。恰恰相反，只记位置而漏掉速度，往往就不够描述下一步。

策略 $\pi(a\mid s)$ 决定在状态 $s$ 如何选择动作。随机策略给出动作概率；确定性策略直接给出动作。策略和环境分工如下：

策略从 $s_t$ 选择 $a_t$ ；
环境产生 $s_{t+1}$ 和奖励 $r_t$ ；
再在新状态决策，而不是把动作当作互不相关的分类标签。

在机器人上，传感器给的是 $o_t$ ，不一定是充分状态 $s_t$ 。例如同一关节角下，速度向左和向右会导致不同未来；同样的 IMU 读数也未必揭示地面摩擦。用 $\pi(a\mid o)$ 是工程接口，并不自动让问题变成完全可观测 MDP。

二、回报：把眼前与未来放在同一把尺上

沿用 $r_t$ 表示本次 transition 的奖励。折扣回报为

$G_t=\sum_{k=0}^{\infty}\gamma^k r_{t+k} =r_t+\gamma G_{t+1}.$

第二个等号只是把第一项拆出来，但它是 Bellman 递推的起点。若本次是真正终止，后续回报为 0。对于保证有限且可积的回合，也可以使用 $\gamma=1$ ；无限持续任务不能不加条件地照搬。

$\gamma$ 小更看重近期奖励，接近 1 时更看重远期。 $1/(1-\gamma)$ 可用作折扣权重总量的粗略尺度，却不是环境真的会在那一步结束。控制周期改变时，同一个 $\gamma$ 对应的物理时间尺度也会改变；比较机器人实验时要同时记录控制频率。

三、一个可以贯穿整套理论的两步任务

这是教学用抽象任务。起点 $s_0$ 可以选择：

stop：立即得到 $+1$ ，然后结束；
forward：先得到 $-1$ ，到达 $s_1$ ；在 $s_1$ 只有一个动作，得到 $+4$ 后结束。

起点 s0 选择 stop 得到奖励 1 并终止；选择 forward 得到奖励负 1 到达 s1，再得到奖励 4 并终止。折扣 gamma 为 0.9。

取 $\gamma=0.9$ 。两条路径的回报分别是

$G_0^{\rm stop}=1,\qquad G_0^{\rm forward}=-1+0.9\times4=2.6.$

眼前奖励较差的 forward 长期更好。若把 $\gamma$ 改为 $0.2$ ，forward 的回报成为 $-0.2$ ，此时 stop 更好。优化对象改变了，最优策略也可能改变。 在这个任务中，forward 优于 stop 的条件是 $-1+4\gamma>1$ ，即 $\gamma>0.5$ 。

四、V、Q 与 A：同一条未来，三个问题

固定当前策略：在 $s_0$ 各以 $0.5$ 概率选 stop 与 forward。

$V^\pi(s)=\mathbb E_\pi[G_t\mid s_t=s],\qquad Q^\pi(s,a)=\mathbb E_\pi[G_t\mid s_t=s,a_t=a].$

$V$ 问“到这个状态，之后按当前策略走，平均能得到多少”； $Q$ 问“第一步先固定做这个动作，然后再按当前策略走，平均能得到多少”。在 $\gamma=0.9$ 时：

$V^\pi(s_1)=4,\quad Q^\pi(s_0,\mathrm{stop})=1,\quad Q^\pi(s_0,\mathrm{forward})=2.6,$

$V^\pi(s_0)=0.5\times1+0.5\times2.6=1.8.$

优势函数是相对比较：

$A^\pi(s,a)=Q^\pi(s,a)-V^\pi(s).$

所以 stop 的优势为 $-0.8$ ，forward 为 $+0.8$ 。对当前策略的动作分布求平均， $\mathbb E_{a\sim\pi}[A^\pi(s,a)]=0$ 。这不是说每个动作都一样好，而是“相对平均值的偏差，其加权平均为零”。

单次采样回报 $G_t$ 是随机量； $V^\pi$ 、 $Q^\pi$ 是期望；神经网络 $V_\phi$ 则是对期望的近似。拿到一次高回报，不能直接说 critic 应当永远输出那个值。

五、Bellman 期望方程：评价当前策略

从 $G_t=r_t+\gamma G_{t+1}$ 出发，固定第一步的状态与动作，对下一状态及后续随机性取条件期望：

$Q^\pi(s,a)=\sum_{s'}P(s'\mid s,a) \left[R(s,a,s')+\gamma V^\pi(s')\right].$

再按当前策略平均第一步动作：

$V^\pi(s)=\sum_a\pi(a\mid s)Q^\pi(s,a).$

合起来就是“当前平均奖励 + 折扣后的下一状态价值”。如果策略是随机的、环境也是随机的，两种平均都必须保留。确定性两步任务只是让求和退化为单一路径，便于手算。

已知模型时的策略评估：给定 $\pi$ ，从某个 $V_0$ 开始，反复用方程右侧更新所有状态。在有限折扣 MDP 中，Bellman 期望算子是 $\gamma$ -压缩映射，完整精确迭代会收敛到唯一的 $V^\pi$ 。这是表格模型下的结论，不能直接拿来保证任意神经网络训练稳定。

六、Bellman 最优方程：寻找更好的策略

最优价值问的是“所有允许的策略里，最好能做到多少”。在上述有限折扣 MDP 中：

$Q^*(s,a)=\sum_{s'}P(s'\mid s,a) \left[R(s,a,s')+\gamma\max_{a'}Q^*(s',a')\right],$

$V^*(s)=\max_a Q^*(s,a).$

这里的 $\max$ 出现在下一步动作的选择上，不是选择一个最有利的随机下一状态。环境的随机结果仍须按概率平均。也不能一边声称评价固定策略 $\pi$ ，一边把它的动作平均随手换成最大值。

两步任务中，贪心改进为在 $s_0$ 总选 forward，便得到 $V^*(s_0)=2.6$ ，而旧策略的价值是 $1.8$ 。

策略迭代：先评价当前策略，再根据其 $Q^\pi$ 做贪心改进，重复进行。
价值迭代：直接反复应用 Bellman 最优备份，把评价与改进结合在每次更新中。
下一章的采样学习：模型 $P,R$ 不可直接枚举时，用实际 transition 估计备份目标。

这些过程中的“动态规划”利用了已知模型；真实机器人或高维仿真通常无法枚举所有状态。理论提供要逼近的对象，采样和函数逼近决定怎样在有限计算下逼近它。

七、回到机器人时的三个边界

部分可观测：单帧 $o_t$ 不是充分状态时，历史、循环网络或状态估计可以帮助，但不会凭空恢复全部隐藏信息。详见已有 MDP/观测笔记。
连续动作： $\max_aQ(s,a)$ 很难靠枚举求解，直接学习参数化策略是一个入口，见 03。
奖励与任务：改变奖励权重、失败惩罚或折扣，可能改变真正学到的行为；“值函数更大”只相对于已定义的目标成立。

参考与下一步

Sutton 与 Barto 第二版，第 3 章有限 MDP、第 4 章动态规划。
OpenAI Spinning Up：回报、价值函数与 Bellman 方程。
下一章：不知道模型时，怎样用 MC 与 TD 学价值。