2026 年四足机器人强化学习最新范式综述

本文整理 2026 年四足/腿足机器人强化学习的最新研究范式。结构上先给出文章大纲，方便快速把握全貌；后面再展开详细笔记、代表论文和技术路线。

一、文章大纲

标题建议

2026 年四足机器人强化学习最新范式综述：从端到端控制到安全、感知与全身智能

1. 引言

  • 四足机器人强化学习的发展背景
  • 从仿真训练到真机部署
  • 2026 年研究重心的变化
  • 本文关注的问题：
    • reward 如何变化？
    • RL 与传统控制如何融合？
    • 感知 locomotion 如何发展？
    • sim-to-real 如何演进？
    • 全身操作如何成为新方向？

2. 传统四足 RL 范式回顾

2.1 PPO + 并行仿真

2.2 手工 reward shaping

2.3 Domain randomization

2.4 Privileged teacher 与 student policy

2.5 旧范式的局限

  • reward 难调
  • 泛化有限
  • 安全无保证
  • sim-to-real gap
  • 难以处理复杂任务

3. 新范式一：规格驱动与偏好驱动的 reward 学习

3.1 时序逻辑规格

论文：Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

3.2 多目标偏好学习

论文：MAPL

3.3 从 reward engineering 到 objective specification

4. 新范式二：控制器先验与 RL 融合

4.1 为什么纯 RL 不够？

4.2 MPC-Injection

4.3 MPC / WBC / RL 的分工

4.4 未来控制栈结构

5. 新范式三：感知强化学习与复杂地形适应

5.1 Blind locomotion 的局限

5.2 StairMaster：空心楼梯

5.3 平台自适应 perceptive controller

5.4 地形理解、记忆与落足决策

6. 新范式四：Mixture-of-Experts 策略结构

6.1 单一 policy 的多任务冲突

6.2 CTS-MoE：地形专家

6.3 Fault-Tolerant MoE：故障专家

6.4 MoE 与机器人 foundation policy 的关系

7. 新范式五：安全强化学习与可认证控制

7.1 RL policy 的安全问题

7.2 Shield-Loco

7.3 ContractionPPO

7.4 Safety filter / CBF / contraction 的比较

8. 新范式六：Sim-to-real 的现实对齐

8.1 Domain randomization 的不足

8.2 QuadVerse：视觉-物理统一对齐

8.3 Proprioceptive Distribution Matching

8.4 从随机化到校准化

9. 新范式七：Whole-body loco-manipulation

9.1 四足机器人从走路到操作

9.2 Sumo：动态全身操作

9.3 CMP：能力流形投影

9.4 Dynamic Pick-and-Place

9.5 腿-臂协同控制的挑战

10. 新范式八：世界模型与迁移学习

10.1 Dreamer 在四足机器人中的使用

10.2 Task-invariant properties

10.3 向 robot foundation model 过渡

11. 横向比较表

建议比较维度：

  • 方法类别
  • 代表论文
  • 输入模态
  • 控制输出
  • 是否真机验证
  • 是否需要视觉
  • 是否有安全保证
  • 是否支持迁移
  • 主要优点
  • 主要局限

12. 未来趋势

12.1 自然语言/偏好驱动 locomotion

12.2 Foundation policy for legged robots

12.3 安全认证成为部署前提

12.4 多机器人/群体四足强化学习

12.5 仿真平台从 physics engine 走向 reality twin

12.6 四足 + 机械臂成为主流形态

13. 结论

核心结论：

2026 年四足机器人强化学习的关键词不是“更大的 PPO”，而是“更系统的机器人智能栈”。

最终范式可以总结为：

Specification + Preference + Perception + MPC/WBC + RL + Safety Shield + Sim Alignment + Whole-body Control

也就是说，四足机器人强化学习已经从单一端到端控制器，走向一个融合感知、规划、控制、安全和仿真校准的完整系统。

0. 总体判断

2026 年四足机器人强化学习已经不再是简单的：

PPO + Isaac Gym / MuJoCo + 手工 reward + domain randomization

而是转向：

强化学习 + 传统控制 + 感知模型 + 安全过滤 + 模拟器校准 + 任务/偏好/逻辑约束

核心变化是：

RL 不再单独承担全部控制任务，而是成为机器人系统中的一个可组合模块。

新的技术栈可以概括为：

Specification + Preference + Perception + MPC/WBC + RL + Safety Shield + Sim Alignment + Whole-body Control

二、详细内容

1. Reward 设计范式变化：从手工 reward 到规格/偏好驱动

1.1 旧范式

传统四足 RL 通常依赖大量手调 reward，例如：

  • 速度跟踪 reward
  • 姿态稳定 reward
  • 足端接触 reward
  • 能耗惩罚
  • 关节力矩惩罚
  • 滑脚惩罚
  • base height reward
  • action smoothness reward

问题：

  1. reward 权重极难调；
  2. 策略可解释性差；
  3. 容易出现 reward hacking；
  4. 学出的 gait 不一定符合人类期望；
  5. 不同地形/不同任务需要重新调 reward。

1.2 新范式 A：时序逻辑规格驱动 RL

代表论文：

核心思想

用 Signal Temporal Logic, STL 表达步态和安全约束。

可以表达：

  • 某条腿在某个时间窗口内必须接触地面；
  • 左前腿和右后腿需要同步；
  • base pitch / roll 不能超过安全范围；
  • 命令速度必须被跟踪；
  • 力矩不能超过限制。

传统 reward 是：

“速度越接近目标越好。”

STL 规格驱动方法更像是：

“在未来一段时间内，机器人必须满足某些明确的时序行为约束。”

技术意义

这让四足 locomotion 从“调 reward 的黑魔法”变成更接近：

可声明、可解释、可验证的行为学习。

我的判断

这是非常重要的方向。真实机器人部署时，人类更关心：

  • 它能不能稳定走？
  • 它是不是按照指定 gait 走？
  • 它会不会摔？
  • 它有没有违反安全边界？

STL 这类方法能把这些要求显式表达出来。

1.3 新范式 B：多目标偏好学习

代表论文：

核心思想

传统 preference learning 通常让人或 AI 判断：

A 行为是否比 B 行为更好？

但 locomotion 是多目标问题。一个行为可能：

  • 更快，但更费电；
  • 更稳，但不够敏捷；
  • 更像动物 gait，但力矩过大；
  • 更安全，但动作保守。

所以 MAPL 强调 multi-objective preference，将多个目标分别建模：

  • 稳定性
  • 速度
  • 能耗
  • 平滑性
  • 安全性
  • 风格
  • 地形适应性

技术意义

它把 locomotion reward 从“人手调参数”转向：

人类/AI 评价 + 多目标偏好建模。

我的判断

这个方向会和大模型结合。未来可能出现：

“我想让这台机器狗走得更稳一点，别那么猛，但保持速度。”

然后系统自动把自然语言偏好转成 reward 或 policy update。

2. 控制架构变化：RL 不再替代传统控制，而是融合 MPC/WBC

2.1 旧范式

早期很多工作想证明：

端到端 RL 可以直接从 observation 输出 joint target / torque。

这确实能做出很强的 demo，但问题是：

  • 容易学到奇怪动作；
  • 对训练环境敏感；
  • 出现局部最优；
  • 真实部署风险高；
  • 安全约束不好保证。

2.2 新范式：MPC/WBC 作为先验或约束

代表论文：

核心思想

不是让 RL 从零摸索，而是让 MPC 生成一些合理轨迹，并注入 replay buffer。

这样 RL 在训练早期就能看到：

  • 什么是合理步态；
  • 什么是不摔的轨迹；
  • 什么是控制器偏好的行为 basin。

解决的问题

纯 RL 可能学出：

  • 趴地滑行；
  • 抖腿；
  • 蹭地；
  • 不自然但 reward 高的动作。

MPC-Injection 用控制器轨迹把策略引到可部署区域。

技术意义

这是一个典型的 2026 范式：

传统控制提供 inductive bias，RL 负责补足复杂非线性和适应能力。

我的判断

未来高性能四足系统大概率不是纯 RL，也不是纯 MPC，而是：

  • 高层 planner / MPC 决策目标；
  • RL policy 做低层敏捷控制；
  • WBC 保证全身约束；
  • safety filter 兜底。

3. 感知强化学习：从盲走到复杂地形理解

3.1 旧范式

很多四足 RL policy 是 blind policy，只用：

  • IMU
  • joint position
  • joint velocity
  • command velocity
  • previous action

blind policy 的优点是鲁棒，缺点是：

  • 不能提前判断台阶；
  • 对 gap、空心楼梯、石块等 discontinuous terrain 不够好；
  • 只能靠触觉反应，不能提前规划脚点。

3.2 新范式：perceptive locomotion

代表论文 1：

任务

空心楼梯，难点包括：

  • 深度图稀疏；
  • 楼梯结构不连续；
  • 容易卡腿；
  • 足端落点容错小；
  • 深度传感噪声大。

方法特点

论文提出三阶段强化学习框架，大致包括：

  1. 基础 locomotion 学习；
  2. 引入地形感知；
  3. 针对空心楼梯风险做强化训练。

同时使用：

  • Cross-Attention 提取地形结构；
  • recurrent memory 保存时序地形信息；
  • 空间感知模块帮助判断足端可踩区域。

技术意义

它代表四足机器人从“能越障”进入到：

能理解复杂地形结构并提前做动作准备。

代表论文 2：

核心问题

很多 perceptive policy 只适用于一个机器人平台。换一个四足，比如从 Unitree Go2 到 ANYmal，效果就不稳定。

该方向试图做：

跨平台、跨 morphology 的感知 locomotion controller。

技术意义

这对产业很关键。因为如果每换一个机器人都重新训练，成本太高。

未来可能出现：

一个 locomotion foundation policy，适配不同四足机器人硬件。

4. Mixture-of-Experts：从单一策略到多专家策略

4.1 背景

单一 policy 面临矛盾：

  • 平地需要高效自然 gait；
  • 楼梯需要抬腿；
  • gap 需要跨越；
  • 斜坡需要重心调整；
  • actuator failure 需要补偿；
  • carrying load 需要改变姿态。

一个网络很难同时处理所有模式，而且不同任务的 reward 可能冲突。

4.2 代表论文 A：地形专家

核心思想

用多个 expert 负责不同地形/行为模式，再用 gating network 选择或融合专家。

好处

  • 减少任务间干扰；
  • 每个 expert 更专精；
  • 地形变化时可以动态切换；
  • 比单一 policy 更容易扩展。

技术意义

四足 RL 开始借鉴大模型中的 MoE 思路：

不再要求一个策略学会所有东西，而是把能力模块化。

4.3 代表论文 B：故障专家

核心问题

当某个关节/电机失效时，普通策略可能直接崩溃。

MoE 方法可以为不同 fault condition 准备不同专家，例如：

  • 单腿部分失效；
  • 髋关节失效；
  • 膝关节力矩下降；
  • 足端摩擦异常；
  • actuator delay 增大。

技术意义

这更接近真实部署需求。机器人不能只在理想状态下跑，必须能在硬件不完美时继续行动。

5. 安全强化学习：policy 外面加 safety shield

5.1 背景

RL policy 的问题是：

  • 训练中没见过的状态可能输出危险动作；
  • 很难保证不摔；
  • 很难保证不撞；
  • 很难保证关节/力矩/姿态约束；
  • 真实机器人上探索成本高。

因此 2026 年明显趋势是：

RL policy 负责性能，安全模块负责底线。

5.2 代表论文 A

核心思想

在 RL policy 输出动作之后，增加一个 predictive safety filter。

流程：

  1. policy 给出动作；
  2. safety filter 预测这个动作未来是否会违反安全约束；
  3. 如果安全，就执行；
  4. 如果不安全，修改动作或切换到安全动作。

技术意义

这是部署机器人很需要的结构：

不要完全信任 policy，而是给 policy 加安全外壳。

5.3 代表论文 B

核心思想

把 contraction theory 引入 PPO，使策略具有某种可认证的稳定性/收敛性质。

技术意义

这类方法说明四足 RL 进入了“可认证控制”的方向：

不是只看实验视频，而是要给出理论稳定性保证。

6. Sim-to-real：从 domain randomization 到 reality alignment

6.1 旧范式

传统 sim-to-real 主要依赖 domain randomization：

  • 质量随机化；
  • 摩擦随机化；
  • 电机强度随机化；
  • 延迟随机化；
  • 地形随机化；
  • 传感噪声随机化。

优点是简单有效。
缺点是：

  • 随机范围难设；
  • 太窄会过拟合；
  • 太宽会训练困难；
  • 不能精确解释真实差距；
  • 视觉和物理 gap 往往分开处理。

6.2 新范式 A：视觉-物理统一对齐

核心思想

不只随机化模拟器，而是把真实环境重建进仿真，并对齐：

  • 视觉外观；
  • 几何结构；
  • 物理接触；
  • 执行器动力学；
  • 状态演化。

技术意义

这是一种更系统的 sim-to-real：

从 “randomize everything” 转向 “calibrate and align simulation”。

6.3 新范式 B：本体感知分布匹配

核心思想

不用复杂动捕或精确轨迹对齐，而是比较真实机器人和仿真机器人在本体感知数据上的分布差异。

例如：

  • joint position distribution；
  • joint velocity distribution；
  • base angular velocity；
  • contact pattern；
  • torque/current response。

然后调节模拟器参数，使仿真分布更接近真实分布。

技术意义

这比传统逐轨迹匹配更实用，因为真实部署时很难获得完美 ground truth。

7. 从 locomotion 到 whole-body loco-manipulation

7.1 背景

四足机器人逐渐从“会走路”进入“会干活”：

  • 搬箱子；
  • 推门；
  • 抓取；
  • 拖拽物体；
  • 操作工具；
  • 动态 pick-and-place。

这要求腿和机械臂统一控制。

7.2 代表论文 A

核心思想

用预训练 whole-body control policy，再在测试时用 sample-based planner 对 policy 进行 steering。

也就是说，不是每个任务重新训练，而是在推理时引导已有 policy 完成新任务。

技术意义

它强调：

训练一次，测试时通过规划引导泛化到不同物体和不同操作任务。

7.3 代表论文 B

核心问题

用户给的目标可能超过机器人能力范围，比如：

  • 机械臂末端目标太远；
  • 目标姿态不可达；
  • 传感器噪声导致目标跳变；
  • 指令超出 policy 训练分布。

如果直接输入 policy，可能导致摔倒或动作崩溃。

核心方法

CMP 把不可行目标投影回 policy 能力范围内的 manifold。

技术意义

这相当于给 policy 加了一个“能力边界感知”模块：

policy 不是什么都能做；系统需要知道它什么时候不能做，并把任务改写成可做的形式。

7.4 代表论文 C

核心思想

用分层强化学习完成四足带机械臂的动态抓放任务。

重点难点是：

  • 抓取物体改变系统质量分布；
  • 机械臂运动导致质心偏移；
  • 腿部需要实时补偿；
  • 操作任务和 locomotion 任务相互耦合。

技术意义

这类工作说明四足机器人控制从“腿部控制”进入“全身动态协调”。

8. 世界模型与迁移学习

8.1 代表论文

8.2 核心思想

基于 Dreamer 世界模型学习 task-invariant properties，使策略更容易迁移。

8.3 为什么重要？

四足机器人面对的变化很多：

  • 地形变化；
  • 负载变化；
  • 机器人形态变化；
  • 任务变化；
  • 传感器变化。

如果每个新任务都重新训练，成本很高。
世界模型路线希望学到更通用的 dynamics representation。

8.4 技术意义

这可能是走向 robot foundation model 的中间路线：

先学习环境/身体动力学，再在其上快速适配任务。

三、2026 技术路线总结

路线 A：性能优先

适合 demo、竞速、敏捷运动。

典型结构：

Isaac Gym / MuJoCo 并行训练
PPO / SAC
大规模 domain randomization
actuator network
privileged teacher + student distillation
真机部署

优点：性能强。
缺点：安全性和可解释性较弱。

路线 B：安全部署优先

适合真实场景、巡检、工业应用。

典型结构：

RL locomotion policy

  • MPC/WBC guidance
  • safety shield
  • sim-to-real calibration
  • failure recovery

优点：可靠性更高。
缺点：系统复杂。

路线 C：复杂地形优先

适合山地、废墟、楼梯、非结构化环境。

典型结构：

depth / heightmap / point cloud

  • perceptive encoder
  • recurrent memory
  • terrain-specific experts
  • foothold-aware policy

优点：地形适应性强。
缺点：对感知质量敏感。

路线 D：全身操作优先

适合带机械臂四足机器人。

典型结构：

locomotion policy

  • arm policy
  • whole-body controller
  • mass/CoM estimator
  • planner steering
  • safety projection

优点：能执行真实任务。
缺点：训练和控制难度大幅增加。

四、重点论文清单

1. 规格/偏好驱动

  1. Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications
    arXiv: http://arxiv.org/abs/2607.00442
    关键词：STL、步态约束、可解释 reward

  2. MAPL: Multi-Objective Preference Learning for Robot Locomotion
    arXiv: http://arxiv.org/abs/2606.25398
    关键词：多目标偏好学习、AI-informed preference、reward learning

2. 控制器先验 + RL

  1. MPC-Injection: Biasing Off-Policy Locomotion RL Toward Controller-Induced Behavior Basins
    arXiv: http://arxiv.org/abs/2606.26392
    关键词：MPC + RL、控制器先验、replay buffer 注入

3. 感知 locomotion

  1. StairMaster: Learning to Conquer Risky Hollow Stairs for Agile Quadrupedal Robots
    arXiv: http://arxiv.org/abs/2606.25765
    关键词：空心楼梯、感知 RL、cross-attention、记忆模块

  2. Learning Perceptive Platform Adaptive Locomotion Controllers for Quadrupedal Robots
    arXiv: http://arxiv.org/abs/2606.25179
    关键词：跨平台、perceptive locomotion、morphology adaptation

4. MoE 策略

  1. CTS-MoE: Implicit Terrain Adaptation via Mixture-of-Experts for Perceptive Locomotion
    arXiv: http://arxiv.org/abs/2606.19633
    关键词：Mixture-of-Experts、地形适应、多任务 locomotion

  2. Mixture-of-Experts RL for Fault-Tolerant Legged Locomotion
    arXiv: http://arxiv.org/abs/2606.25965
    关键词：故障容错、多专家策略、fault-aware locomotion

5. 安全 RL

  1. Shield-Loco: Shielding Locomotion Policies with Predictive Safety Filtering
    arXiv: http://arxiv.org/abs/2606.07193
    关键词：安全过滤、predictive safety filter、部署安全

  2. ContractionPPO: Certified Reinforcement Learning via Differentiable Contraction Layers
    arXiv: http://arxiv.org/abs/2603.19632
    关键词：certified RL、contraction theory、稳定性保证

6. Sim-to-real

  1. QuadVerse: An Integrated Framework Aligning Visual-Physical Reality for Quadruped Simulation
    arXiv: http://arxiv.org/abs/2606.07118
    关键词：sim-to-real、视觉物理对齐、仿真校准

  2. Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching
    arXiv: http://arxiv.org/abs/2604.11090
    关键词：simulator adaptation、本体感知分布匹配

7. Whole-body loco-manipulation

  1. Sumo: Dynamic and Generalizable Whole-Body Loco-Manipulation
    arXiv: http://arxiv.org/abs/2604.08508
    关键词：whole-body loco-manipulation、test-time planning

  2. CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection
    arXiv: http://arxiv.org/abs/2604.07457
    关键词：能力流形、OOD command、whole-body tracking

  3. Learning Dynamic Pick-and-Place for a Legged Manipulator
    arXiv: http://arxiv.org/abs/2605.15713
    关键词：动态抓放、四足机械臂、分层强化学习

8. 世界模型与迁移

  1. Learning Task-Invariant Properties via Dreamer: Enabling Efficient Policy Transfer for Quadruped Robots
    arXiv: http://arxiv.org/abs/2604.02911
    关键词：Dreamer、世界模型、迁移学习、task-invariant properties

继续探索

本文主题与标签

查看全部标签 →

主专题

先定位知识脉络，再用相关标签交叉检索

主专题 Sim-to-Real 与策略部署

相关标签

机器人控制 强化学习 四足机器人 legged robotics sim-to-real
知识共享许可协议