跳到正文
OpenReview · State space models· Jiaheng Hu; Peter Stone; Roberto Martín-Martín·· 2025-06-15精选AI 评分77

SLAC:用于真实世界全身强化学习的仿真预训练潜在动作空间

SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World RL

AI 导读

基于摘要分析。该研究面向双臂移动操作等高自由度机器人控制,试图缓解真实世界 RL 中安全探索与样本效率的矛盾,以及直接 sim-to-real 策略迁移的脆弱性。SLAC 利用低保真仿真器预训练任务无关的潜在动作空间,再以该空间作为真实机器人学习下游任务的动作接口。 机制上,作者采用定制的无监督技能发现方法,目标是促进时间抽象、解耦与安全性;随后通过一种新的离策略 RL 算法,在真实环境交互中学习任务。其关键思路不是直接迁移完整任务策略,而是利用仿真构建可供真实环境学习使用的动作表示。摘要未披露潜在空间结构、具体损失、技能持续时间、安全约束或离策略算法细节,相关实现尚未验证。 作者报告,在一组双臂移动操作任务上,SLAC 相较已有方法达到最先进性能;其中接触密集型全身任务可在不足一小时的真实世界交互内学会,且不依赖示范或手工设计的行为先验。任务数量、成功标准、对照方法、重复试验、统计信息及仿真预训练成本尚未验证,不能将该交互时长理解为完整训练成本。 平台推测(待验证):这一机制与 BCI 控制机器人的动作接口设计存在对应关系,可假设用预训练技能空间减少神经解码器直接控制高自由度动作的负担。可复用的是技能表示与下游动作接口;需另行设计 EEG 到潜在动作的映射及安全回退机制。原方法依赖机器人仿真、无监督技能发现和真实交互,并未验证神经信号输入;低信噪比、跨被试差异与小样本校准可能使潜在指令不稳定。一个可证伪的小实验是在固定解码器、任务及交互预算下,对比潜在技能控制与直接动作控制的任务成功率和安全干预次数。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以低保真仿真预训练潜在动作空间、再进行真实机器人离策略 RL 的机制路径;作者报告了接触密集全身任务的交互效率,但安全性、对照协议及其对 BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net