跳到正文
OpenReview · Representation learning· Mingyu Liu; Jiuhe Shu; Hui Chen; Zeju Li; Canyu Zhao; Jiange Yang; Shenyuan Gao; Hao Chen; Chunhua Shen·· 2026-09-17精选AI 评分77

StaMo:从紧凑状态表示中无监督学习可泛化的机器人运动

StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation

AI 导读

基于摘要分析。StaMo 研究机器人世界建模与决策中状态表示的紧凑性与任务信息保留之间的矛盾,提出利用轻量编码器和预训练 Diffusion Transformer(DiT)解码器,从静态图像无监督学习两 token 状态表示,并进一步获得可解码为机器人可执行动作的潜在动作。 方法利用预训练 DiT 的生成先验支持高度压缩的状态编码。作者称,经潜在插值得到的 token 差异可自然充当潜在动作,表明该表示能够在没有显式监督的情况下捕获结构化动力学。摘要未交代 token 的具体语义、插值涉及的状态关系、训练损失,以及潜在动作到可执行动作的解码监督条件,均需正文核对;不能据此认定整个机器人控制流程完全无监督。 作者报告,将该表示接入现有 VLA 模型后,LIBERO 上性能提升 11.6%,真实世界任务成功表现提升 31%,推理开销较小;用于策略联合训练时,相比既有方法提升 10.4%。摘要未明确这些增幅对应的指标定义、相对百分比或百分点、具体对照与评估划分,不能将其解释为绝对成功率或跨协议比较。作者还报告该方法可扩展至真实机器人数据、仿真及人类第一视角视频,但数据规模、泛化边界、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 表征研究考察的是“借助生成先验压缩状态,并通过表示变化提取动态信息”的机制,而非直接迁移机器人动作解码。假设将其用于 EEG,需要重建适配多通道时序的编码器与生成先验;视觉 DiT 先验本身不等同于 EEG 先验。低信噪比、跨被试差异和过强压缩可能使 token 差异主要反映噪声,或丢失任务相关信息。一个可证伪的小实验是在固定被试划分和训练数据下,对比两 token 与较宽表示的重建及下游解码表现,并检验 token 差异是否稳定对应任务变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何利用预训练 DiT 的生成先验,将静态图像压缩为两 token 状态并形成可解码的潜在动作,但具体插值机制、对照协议及对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net