让离线强化学习从「局部描摹」变「全局布局」丨ICLR’26

如意

【标题】：
让离线强化学习从「局部描摹」变「全局布局」丨ICLR’26

【内容】：
让离线强化学习从「局部描摹」变「全局布局」丨ICLR’26

  核心思路：从画大纲到扣细节面对复杂连续任务的长程规划，现有的生成式离线强化学习方法往往会暴露短板。

  它们生成的轨迹经常陷入

  局部合理但全局偏航的窘境。

  它们太关注眼前的每一步，却忘了最终的目的地。

  针对这一痛点，厦门大学和香港科技大学提出一种名为

  MAGE（魔法师，Multi-scale Autoregressive Generation）的离线强化学习新算法。

  MAGE与现有序列生成方法不同，MAGE采用自顶向下的“由粗到细”生成策略，先建模轨迹的宏观规划，再逐步细化微观细节。

  MAGE的核心思路非常符合人类的直觉：

  “自顶向下、由粗到细”这就好比画一幅素描，你不会一上来就描绘眼睛的睫毛，而是先画出整体的身体轮廓（宏观规划），再逐步细化五官和表情（微观动作）

  △MAGE的思考过程从一场”迷宫寻宝“揭示AI规划的盲区为了直观展示现有模型的缺陷，研究团队设计了一个

  迷宫吃金币小实验。智能体需要从随机起点出发，依靠对环境的

  长程空间理解，先吃银币，再吃金币，最后抵达终点。

  △各个算法在迷宫环境的表现然而，面对这种需要全局规划的场景，现有的模型纷纷暴露了缺陷。

  Decision Transformer受限于单向自回归特性带来的全局上下文缺失，它在长程规划中完全迷失方向，最终连终点都未能抵达。

  Decision Diffuser则由于扩散模型固有的

  局部生成偏差，生成的轨迹往往只能保证局部合理；虽然智能体抵达了终点，却遗漏了关键的一枚金币，全局连贯性较差。

  Hierarchical Diffuser虽然尝试通过分层结构建模全局轨迹，但由于其固定的

  双层结构过于僵硬

  高低层策略之间缺乏有效协同，生成的轨迹甚至出现了物理违规的“穿墙”现象，全局规划与局部动作严重脱节。

  相比之下，MAGE则通过多尺度“从粗到细”的生成架构成功完成了任务。它首先在最粗的时间尺度上勾勒出包含所有关键节点的

  宏观全局轮廓，随后利用多尺度Transformer在

  更细的时间尺度上逐层细化，顺利规划出完整的路径。

  MAGE的核心思路：从画大纲到扣细节MAGE采用“自顶向下、由粗到细”的生成方式。MAGE包含两大核心模块，并辅以精确的控制机制：

  △MAGE的架构图MTAE多尺度轨迹自编码器：

  MAGE将长序列轨迹转化为从粗到细的多尺度离散Token。粗尺度的Token负责掌控

  全局长程结构，最细尺度的Token则详细建模

  短期的动态细节多尺度条件引导自回归生成：

  模型使用Transformer序列化地生成这些多尺度Token。在生成每层时，都会严格以“目标回报”和“初始状态”作为条件进行约束，确保智能体的每一步都在朝着最终目标前进。

  条件引导细化与动作决策：

  因为把连续世界变成离散Token会丢失信息，普通的生成过程容易让轨迹起点偏离现实。为此，MAGE在解码器中集成了轻量级的适配器（adapter）模块，并引入了

  条件引导损失函数Lcond，强制解码出的初始状态与真实环境是精确对齐的。最后，通过潜在逆动力学模型决定最终的动作。

  实验表现：长序列任务全面超越，推理速度满足实时控制研究团队在包含Adroit、Franka Kitchen、AntMaze等

  5个离线RL基准测试

  中，将MAGE与具有代表性的基线算法进行了广泛的评估。

  多任务表现出色

  在极具挑战的高维连续控制

  Adroit机械臂任务中，面对极其稀疏的奖励，MAGE实现了显著的性能提升，大幅优于对比方法。在强调子目标执行顺序的Franka Kitchen组合任务中，MAGE凭借捕获全局结构和局部细节的能力，以相当大的优势超越了所有竞争算法。

  迷宫导航任务中，MAGE在所有数据集上均取得了最佳性能，证明了其处理长序列导航任务的卓越能力。

  极高的推理效率与部署潜力MAGE在保持高性能的同时，实现了出色的计算效率平衡。实验数据表明，MAGE的运行速度比Hierarchical Diffuser快

  约50倍，比Decision Diffuser

  快80倍。其每步推理时间保持在27毫秒，完美满足了

  真实机器人控制

  所要求的20 Hz

  实时运行门槛MAGE成功地将多尺度轨迹建模与条件引导相结合，通过“从粗到细”的自回归框架生成连贯且可控的高回报轨迹。当有一天，机器人不再需要人类一口一口地“喂”奖励，而是能够自主审视全局，制定长远计划并流畅执行时，也许具身智能的下一个奇点就真正到来了。

  论文链接：

  开源代码：

  实验室主页：

  作者介绍：

  本文第一作者来自厦门大学空间感知与计算实验室（ASC Lab）2024级硕士生林晨兴、2025级硕士生高鑫辉，通讯作者为厦门大学沈思淇副教授，并由张海鹏、李欣然（香港科技大学）、王海涛、梅松竹副研究员、刘伟权副教授（集美大学）、王程教授共同合作完成。研究团队长期聚焦于强化学习，多智能体系统以及大模型智能体。

【AI采集时间】：2026-04-07 11:07