跳到正文
OpenReview · State space models· Jiaheng Hu; Peter Stone; Roberto Martín-Martín·· 2025-08-09精选AI 评分77

SLAC:用于真实世界全身强化学习的仿真预训练潜在动作空间

SLAC: Simulation-Pretrained Latent Action Space for Whole-Body Real-World RL

AI 导读

基于摘要分析。本文研究高自由度机器人在真实世界中进行强化学习时的安全探索与样本效率问题,提出 SLAC:先在低保真仿真器中学习任务无关的潜在动作空间,再以该空间作为动作接口,通过真实交互学习下游任务。主要研究对象是双臂移动操作机器人,而非 EEG 解码或 BCI 算法。 机制上,SLAC 使用定制的无监督技能发现方法预训练潜在动作空间,目标是促进时间抽象、解耦与安全性;下游则使用一种新的离策略强化学习算法,在该动作空间中学习任务。其思路不是直接将仿真中的任务策略部署到真实机器人,而是利用仿真预训练的动作表示支持后续真实世界学习。潜在空间的结构、技能持续时间、安全约束形式、训练损失以及离策略算法细节,摘要未提供,尚未验证。 作者报告,在一组双臂移动操作任务上,SLAC 相较现有方法取得最先进性能;作者还报告,在不依赖示范或手工设计行为先验的条件下,接触密集型全身任务可在不足一小时的真实世界交互中学会。这一时长对应真实交互,并不等同于包含仿真预训练的总训练成本;具体任务、成功标准、对照基线、重复试验及计时范围尚未验证。 复现时需核对仿真与真实硬件配置、观测及动作定义、预训练资源、技能迁移方式、安全干预与重置成本,以及实验协议、消融和统计信息。摘要未涉及神经信号输入或脑控机器人评估,因此不能据此认定其具有 BCI 有效性,也不足以提出具体的 EEG 迁移实验。

阅读价值

值得核对的是,SLAC 如何用低保真仿真预训练的潜在动作接口兼顾真实机器人探索安全与样本效率;摘要报告的学习时长具有明确应用意义,但其任务协议、计时范围与安全评估尚未验证。

来源:OpenReview · State space models · openreview.net