本文整理 2026 年四足/腿足机器人强化学习的最新研究范式。结构上先给出文章大纲，方便快速把握全貌；后面再展开详细笔记、代表论文和技术路线。
一、文章大纲
标题建议
2026 年四足机器人强化学习最新范式综述：从端到端控制到安全、感知与全身智能
1. 引言
- 四足机器人强化学习的发展背景
- 从仿真训练到真机部署
- 2026 年研究重心的变化
- 本文关注的问题：
- reward 如何变化？
- RL 与传统控制如何融合？
- 感知 locomotion 如何发展？
- sim-to-real 如何演进？
- 全身操作如何成为新方向？
2. 传统四足 RL 范式回顾
2.1 PPO + 并行仿真
2.2 手工 reward shaping
2.3 Domain randomization
2.4 Privileged teacher 与 student policy
2.5 旧范式的局限
- reward 难调
- 泛化有限
- 安全无保证
- sim-to-real gap
- 难以处理复杂任务
3. 新范式一：规格驱动与偏好驱动的 reward 学习
3.1 时序逻辑规格
论文：Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications
3.2 多目标偏好学习
论文：MAPL
3.3 从 reward engineering 到 objective specification
4. 新范式二：控制器先验与 RL 融合
4.1 为什么纯 RL 不够？
4.2 MPC-Injection
4.3 MPC / WBC / RL 的分工
4.4 未来控制栈结构
5. 新范式三：感知强化学习与复杂地形适应
5.1 Blind locomotion 的局限
5.2 StairMaster：空心楼梯
5.3 平台自适应 perceptive controller
5.4 地形理解、记忆与落足决策
6. 新范式四：Mixture-of-Experts 策略结构
6.1 单一 policy 的多任务冲突
6.2 CTS-MoE：地形专家
6.3 Fault-Tolerant MoE：故障专家
6.4 MoE 与机器人 foundation policy 的关系
7. 新范式五：安全强化学习与可认证控制
7.1 RL policy 的安全问题
7.2 Shield-Loco
7.3 ContractionPPO
7.4 Safety filter / CBF / contraction 的比较
8. 新范式六：Sim-to-real 的现实对齐
8.1 Domain randomization 的不足
8.2 QuadVerse：视觉-物理统一对齐
8.3 Proprioceptive Distribution Matching
8.4 从随机化到校准化
9. 新范式七：Whole-body loco-manipulation
9.1 四足机器人从走路到操作
9.2 Sumo：动态全身操作
9.3 CMP：能力流形投影
9.4 Dynamic Pick-and-Place
9.5 腿-臂协同控制的挑战
10. 新范式八：世界模型与迁移学习
10.1 Dreamer 在四足机器人中的使用
10.2 Task-invariant properties
10.3 向 robot foundation model 过渡
11. 横向比较表
建议比较维度：
- 方法类别
- 代表论文
- 输入模态
- 控制输出
- 是否真机验证
- 是否需要视觉
- 是否有安全保证
- 是否支持迁移
- 主要优点
- 主要局限
12. 未来趋势
12.1 自然语言/偏好驱动 locomotion
12.2 Foundation policy for legged robots
12.3 安全认证成为部署前提
12.4 多机器人/群体四足强化学习
12.5 仿真平台从 physics engine 走向 reality twin
12.6 四足 + 机械臂成为主流形态
13. 结论
核心结论：
2026 年四足机器人强化学习的关键词不是“更大的 PPO”，而是“更系统的机器人智能栈”。
最终范式可以总结为：
Specification + Preference + Perception + MPC/WBC + RL + Safety Shield + Sim Alignment + Whole-body Control
也就是说，四足机器人强化学习已经从单一端到端控制器，走向一个融合感知、规划、控制、安全和仿真校准的完整系统。
0. 总体判断
2026 年四足机器人强化学习已经不再是简单的：
PPO + Isaac Gym / MuJoCo + 手工 reward + domain randomization
而是转向：
强化学习 + 传统控制 + 感知模型 + 安全过滤 + 模拟器校准 + 任务/偏好/逻辑约束
核心变化是：
RL 不再单独承担全部控制任务，而是成为机器人系统中的一个可组合模块。
新的技术栈可以概括为：
Specification + Preference + Perception + MPC/WBC + RL + Safety Shield + Sim Alignment + Whole-body Control
二、详细内容
1. Reward 设计范式变化：从手工 reward 到规格/偏好驱动
1.1 旧范式
传统四足 RL 通常依赖大量手调 reward，例如：
- 速度跟踪 reward
- 姿态稳定 reward
- 足端接触 reward
- 能耗惩罚
- 关节力矩惩罚
- 滑脚惩罚
- base height reward
- action smoothness reward
问题：
- reward 权重极难调；
- 策略可解释性差；
- 容易出现 reward hacking；
- 学出的 gait 不一定符合人类期望；
- 不同地形/不同任务需要重新调 reward。
1.2 新范式 A：时序逻辑规格驱动 RL
代表论文：
- Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications
arXiv: http://arxiv.org/abs/2607.00442
核心思想
用 Signal Temporal Logic, STL 表达步态和安全约束。
可以表达：
- 某条腿在某个时间窗口内必须接触地面；
- 左前腿和右后腿需要同步；
- base pitch / roll 不能超过安全范围；
- 命令速度必须被跟踪；
- 力矩不能超过限制。
传统 reward 是：
“速度越接近目标越好。”
STL 规格驱动方法更像是：
“在未来一段时间内，机器人必须满足某些明确的时序行为约束。”
技术意义
这让四足 locomotion 从“调 reward 的黑魔法”变成更接近：
可声明、可解释、可验证的行为学习。
我的判断
这是非常重要的方向。真实机器人部署时，人类更关心：
- 它能不能稳定走？
- 它是不是按照指定 gait 走？
- 它会不会摔？
- 它有没有违反安全边界？
STL 这类方法能把这些要求显式表达出来。
1.3 新范式 B：多目标偏好学习
代表论文：
- MAPL: Multi-Objective Preference Learning for Robot Locomotion
arXiv: http://arxiv.org/abs/2606.25398
核心思想
传统 preference learning 通常让人或 AI 判断：
A 行为是否比 B 行为更好？
但 locomotion 是多目标问题。一个行为可能：
- 更快，但更费电；
- 更稳，但不够敏捷；
- 更像动物 gait，但力矩过大；
- 更安全，但动作保守。
所以 MAPL 强调 multi-objective preference，将多个目标分别建模：
- 稳定性
- 速度
- 能耗
- 平滑性
- 安全性
- 风格
- 地形适应性
技术意义
它把 locomotion reward 从“人手调参数”转向：
人类/AI 评价 + 多目标偏好建模。
我的判断
这个方向会和大模型结合。未来可能出现：
“我想让这台机器狗走得更稳一点，别那么猛，但保持速度。”
然后系统自动把自然语言偏好转成 reward 或 policy update。
2. 控制架构变化：RL 不再替代传统控制，而是融合 MPC/WBC
2.1 旧范式
早期很多工作想证明：
端到端 RL 可以直接从 observation 输出 joint target / torque。
这确实能做出很强的 demo，但问题是：
- 容易学到奇怪动作；
- 对训练环境敏感；
- 出现局部最优；
- 真实部署风险高；
- 安全约束不好保证。
2.2 新范式：MPC/WBC 作为先验或约束
代表论文：
- MPC-Injection: Biasing Off-Policy Locomotion RL Toward Controller-Induced Behavior Basins
arXiv: http://arxiv.org/abs/2606.26392
核心思想
不是让 RL 从零摸索，而是让 MPC 生成一些合理轨迹，并注入 replay buffer。
这样 RL 在训练早期就能看到：
- 什么是合理步态；
- 什么是不摔的轨迹；
- 什么是控制器偏好的行为 basin。
解决的问题
纯 RL 可能学出：
- 趴地滑行；
- 抖腿；
- 蹭地；
- 不自然但 reward 高的动作。
MPC-Injection 用控制器轨迹把策略引到可部署区域。
技术意义
这是一个典型的 2026 范式：
传统控制提供 inductive bias，RL 负责补足复杂非线性和适应能力。
我的判断
未来高性能四足系统大概率不是纯 RL，也不是纯 MPC，而是：
- 高层 planner / MPC 决策目标；
- RL policy 做低层敏捷控制；
- WBC 保证全身约束；
- safety filter 兜底。
3. 感知强化学习：从盲走到复杂地形理解
3.1 旧范式
很多四足 RL policy 是 blind policy，只用：
- IMU
- joint position
- joint velocity
- command velocity
- previous action
blind policy 的优点是鲁棒，缺点是：
- 不能提前判断台阶；
- 对 gap、空心楼梯、石块等 discontinuous terrain 不够好；
- 只能靠触觉反应，不能提前规划脚点。
3.2 新范式：perceptive locomotion
代表论文 1：
- StairMaster: Learning to Conquer Risky Hollow Stairs for Agile Quadrupedal Robots
arXiv: http://arxiv.org/abs/2606.25765
任务
空心楼梯，难点包括：
- 深度图稀疏；
- 楼梯结构不连续；
- 容易卡腿；
- 足端落点容错小；
- 深度传感噪声大。
方法特点
论文提出三阶段强化学习框架，大致包括：
- 基础 locomotion 学习；
- 引入地形感知；
- 针对空心楼梯风险做强化训练。
同时使用：
- Cross-Attention 提取地形结构；
- recurrent memory 保存时序地形信息；
- 空间感知模块帮助判断足端可踩区域。
技术意义
它代表四足机器人从“能越障”进入到：
能理解复杂地形结构并提前做动作准备。
代表论文 2：
- Learning Perceptive Platform Adaptive Locomotion Controllers for Quadrupedal Robots
arXiv: http://arxiv.org/abs/2606.25179
核心问题
很多 perceptive policy 只适用于一个机器人平台。换一个四足，比如从 Unitree Go2 到 ANYmal，效果就不稳定。
该方向试图做：
跨平台、跨 morphology 的感知 locomotion controller。
技术意义
这对产业很关键。因为如果每换一个机器人都重新训练，成本太高。
未来可能出现：
一个 locomotion foundation policy，适配不同四足机器人硬件。
4. Mixture-of-Experts：从单一策略到多专家策略
4.1 背景
单一 policy 面临矛盾：
- 平地需要高效自然 gait；
- 楼梯需要抬腿；
- gap 需要跨越；
- 斜坡需要重心调整；
- actuator failure 需要补偿；
- carrying load 需要改变姿态。
一个网络很难同时处理所有模式，而且不同任务的 reward 可能冲突。
4.2 代表论文 A：地形专家
- CTS-MoE: Implicit Terrain Adaptation via Mixture-of-Experts for Perceptive Locomotion
arXiv: http://arxiv.org/abs/2606.19633
核心思想
用多个 expert 负责不同地形/行为模式，再用 gating network 选择或融合专家。
好处
- 减少任务间干扰；
- 每个 expert 更专精；
- 地形变化时可以动态切换；
- 比单一 policy 更容易扩展。
技术意义
四足 RL 开始借鉴大模型中的 MoE 思路：
不再要求一个策略学会所有东西，而是把能力模块化。
4.3 代表论文 B：故障专家
- Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion
arXiv: http://arxiv.org/abs/2606.25965
核心问题
当某个关节/电机失效时，普通策略可能直接崩溃。
MoE 方法可以为不同 fault condition 准备不同专家，例如：
- 单腿部分失效；
- 髋关节失效；
- 膝关节力矩下降；
- 足端摩擦异常；
- actuator delay 增大。
技术意义
这更接近真实部署需求。机器人不能只在理想状态下跑，必须能在硬件不完美时继续行动。
5. 安全强化学习：policy 外面加 safety shield
5.1 背景
RL policy 的问题是：
- 训练中没见过的状态可能输出危险动作；
- 很难保证不摔；
- 很难保证不撞；
- 很难保证关节/力矩/姿态约束；
- 真实机器人上探索成本高。
因此 2026 年明显趋势是：
RL policy 负责性能，安全模块负责底线。
5.2 代表论文 A
- Shield-Loco: Shielding Locomotion Policies with Predictive Safety Filtering
arXiv: http://arxiv.org/abs/2606.07193
核心思想
在 RL policy 输出动作之后，增加一个 predictive safety filter。
流程：
- policy 给出动作；
- safety filter 预测这个动作未来是否会违反安全约束；
- 如果安全，就执行；
- 如果不安全，修改动作或切换到安全动作。
技术意义
这是部署机器人很需要的结构：
不要完全信任 policy，而是给 policy 加安全外壳。
5.3 代表论文 B
- ContractionPPO: Certified Reinforcement Learning via Differentiable Contraction Layers
arXiv: http://arxiv.org/abs/2603.19632
核心思想
把 contraction theory 引入 PPO，使策略具有某种可认证的稳定性/收敛性质。
技术意义
这类方法说明四足 RL 进入了“可认证控制”的方向：
不是只看实验视频，而是要给出理论稳定性保证。
6. Sim-to-real：从 domain randomization 到 reality alignment
6.1 旧范式
传统 sim-to-real 主要依赖 domain randomization：
- 质量随机化；
- 摩擦随机化；
- 电机强度随机化；
- 延迟随机化；
- 地形随机化；
- 传感噪声随机化。
优点是简单有效。
缺点是：
- 随机范围难设；
- 太窄会过拟合；
- 太宽会训练困难；
- 不能精确解释真实差距；
- 视觉和物理 gap 往往分开处理。
6.2 新范式 A：视觉-物理统一对齐
- QuadVerse: An Integrated Framework Aligning Visual-Physical Reality for Quadruped Simulation
arXiv: http://arxiv.org/abs/2606.07118
核心思想
不只随机化模拟器，而是把真实环境重建进仿真，并对齐：
- 视觉外观；
- 几何结构；
- 物理接触；
- 执行器动力学；
- 状态演化。
技术意义
这是一种更系统的 sim-to-real：
从 “randomize everything” 转向 “calibrate and align simulation”。
6.3 新范式 B：本体感知分布匹配
- Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching
arXiv: http://arxiv.org/abs/2604.11090
核心思想
不用复杂动捕或精确轨迹对齐，而是比较真实机器人和仿真机器人在本体感知数据上的分布差异。
例如：
- joint position distribution；
- joint velocity distribution；
- base angular velocity；
- contact pattern；
- torque/current response。
然后调节模拟器参数，使仿真分布更接近真实分布。
技术意义
这比传统逐轨迹匹配更实用，因为真实部署时很难获得完美 ground truth。
7. 从 locomotion 到 whole-body loco-manipulation
7.1 背景
四足机器人逐渐从“会走路”进入“会干活”：
- 搬箱子；
- 推门；
- 抓取；
- 拖拽物体；
- 操作工具；
- 动态 pick-and-place。
这要求腿和机械臂统一控制。
7.2 代表论文 A
- Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation
arXiv: http://arxiv.org/abs/2604.08508
核心思想
用预训练 whole-body control policy，再在测试时用 sample-based planner 对 policy 进行 steering。
也就是说，不是每个任务重新训练，而是在推理时引导已有 policy 完成新任务。
技术意义
它强调：
训练一次，测试时通过规划引导泛化到不同物体和不同操作任务。
7.3 代表论文 B
- CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection
arXiv: http://arxiv.org/abs/2604.07457
核心问题
用户给的目标可能超过机器人能力范围，比如：
- 机械臂末端目标太远；
- 目标姿态不可达；
- 传感器噪声导致目标跳变；
- 指令超出 policy 训练分布。
如果直接输入 policy，可能导致摔倒或动作崩溃。
核心方法
CMP 把不可行目标投影回 policy 能力范围内的 manifold。
技术意义
这相当于给 policy 加了一个“能力边界感知”模块：
policy 不是什么都能做；系统需要知道它什么时候不能做，并把任务改写成可做的形式。
7.4 代表论文 C
- Learning Dynamic Pick-and-Place for a Legged Manipulator
arXiv: http://arxiv.org/abs/2605.15713
核心思想
用分层强化学习完成四足带机械臂的动态抓放任务。
重点难点是：
- 抓取物体改变系统质量分布；
- 机械臂运动导致质心偏移；
- 腿部需要实时补偿；
- 操作任务和 locomotion 任务相互耦合。
技术意义
这类工作说明四足机器人控制从“腿部控制”进入“全身动态协调”。
8. 世界模型与迁移学习
8.1 代表论文
- Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots
arXiv: http://arxiv.org/abs/2604.02911
8.2 核心思想
基于 Dreamer 世界模型学习 task-invariant properties，使策略更容易迁移。
8.3 为什么重要？
四足机器人面对的变化很多：
- 地形变化；
- 负载变化；
- 机器人形态变化；
- 任务变化；
- 传感器变化。
如果每个新任务都重新训练，成本很高。
世界模型路线希望学到更通用的 dynamics representation。
8.4 技术意义
这可能是走向 robot foundation model 的中间路线：
先学习环境/身体动力学，再在其上快速适配任务。
三、2026 技术路线总结
路线 A：性能优先
适合 demo、竞速、敏捷运动。
典型结构：
Isaac Gym / MuJoCo 并行训练
PPO / SAC
大规模 domain randomization
actuator network
privileged teacher + student distillation
真机部署
优点：性能强。
缺点：安全性和可解释性较弱。
路线 B：安全部署优先
适合真实场景、巡检、工业应用。
典型结构：
RL locomotion policy
- MPC/WBC guidance
- safety shield
- sim-to-real calibration
- failure recovery
优点：可靠性更高。
缺点：系统复杂。
路线 C：复杂地形优先
适合山地、废墟、楼梯、非结构化环境。
典型结构：
depth / heightmap / point cloud
- perceptive encoder
- recurrent memory
- terrain-specific experts
- foothold-aware policy
优点：地形适应性强。
缺点：对感知质量敏感。
路线 D：全身操作优先
适合带机械臂四足机器人。
典型结构：
locomotion policy
- arm policy
- whole-body controller
- mass/CoM estimator
- planner steering
- safety projection
优点：能执行真实任务。
缺点：训练和控制难度大幅增加。
四、重点论文清单
1. 规格/偏好驱动
-
Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications
arXiv: http://arxiv.org/abs/2607.00442
关键词：STL、步态约束、可解释 reward -
MAPL: Multi-Objective Preference Learning for Robot Locomotion
arXiv: http://arxiv.org/abs/2606.25398
关键词：多目标偏好学习、AI-informed preference、reward learning
2. 控制器先验 + RL
- MPC-Injection: Biasing Off-Policy Locomotion RL Toward Controller-Induced Behavior Basins
arXiv: http://arxiv.org/abs/2606.26392
关键词：MPC + RL、控制器先验、replay buffer 注入
3. 感知 locomotion
-
StairMaster: Learning to Conquer Risky Hollow Stairs for Agile Quadrupedal Robots
arXiv: http://arxiv.org/abs/2606.25765
关键词：空心楼梯、感知 RL、cross-attention、记忆模块 -
Learning Perceptive Platform Adaptive Locomotion Controllers for Quadrupedal Robots
arXiv: http://arxiv.org/abs/2606.25179
关键词：跨平台、perceptive locomotion、morphology adaptation
4. MoE 策略
-
CTS-MoE: Implicit Terrain Adaptation via Mixture-of-Experts for Perceptive Locomotion
arXiv: http://arxiv.org/abs/2606.19633
关键词：Mixture-of-Experts、地形适应、多任务 locomotion -
Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion
arXiv: http://arxiv.org/abs/2606.25965
关键词：故障容错、多专家策略、fault-aware locomotion
5. 安全 RL
-
Shield-Loco: Shielding Locomotion Policies with Predictive Safety Filtering
arXiv: http://arxiv.org/abs/2606.07193
关键词：安全过滤、predictive safety filter、部署安全 -
ContractionPPO: Certified Reinforcement Learning via Differentiable Contraction Layers
arXiv: http://arxiv.org/abs/2603.19632
关键词：certified RL、contraction theory、稳定性保证
6. Sim-to-real
-
QuadVerse: An Integrated Framework Aligning Visual-Physical Reality for Quadruped Simulation
arXiv: http://arxiv.org/abs/2606.07118
关键词：sim-to-real、视觉物理对齐、仿真校准 -
Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching
arXiv: http://arxiv.org/abs/2604.11090
关键词：simulator adaptation、本体感知分布匹配
7. Whole-body loco-manipulation
-
Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation
arXiv: http://arxiv.org/abs/2604.08508
关键词：whole-body loco-manipulation、test-time planning -
CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection
arXiv: http://arxiv.org/abs/2604.07457
关键词：能力流形、OOD command、whole-body tracking -
Learning Dynamic Pick-and-Place for a Legged Manipulator
arXiv: http://arxiv.org/abs/2605.15713
关键词：动态抓放、四足机械臂、分层强化学习
8. 世界模型与迁移
- Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots
arXiv: http://arxiv.org/abs/2604.02911
关键词：Dreamer、世界模型、迁移学习、task-invariant properties
