跳到正文
OpenReview · Representation learning· Mingyu Liu; Jiuhe Shu; Hui Chen; Zeju Li; Canyu Zhao; Jiange Yang; Shenyuan Gao; Hao Chen; Chunhua Shen·· 2025-12-31精选AI 评分77

StaMo:从紧凑状态表示中无监督学习可泛化的机器人运动

StaMo: Unsupervised Learning of Generalizable Robot Motion from Compact State Representation

AI 导读

基于摘要分析。StaMo 研究机器人具身智能中状态表示的紧凑性与任务信息保留之间的权衡,提出利用轻量编码器和预训练 Diffusion Transformer(DiT)解码器,从静态图像无监督学习由两个 token 构成的状态表示,并进一步从该表示中提取潜在动作。 方法借助预训练 DiT 的生成先验支持高度压缩的状态编码,并将表示接入现有 VLA 模型。作者还报告,通过潜在插值得到的 token 差分可作为潜在动作,进一步解码为可执行的机器人动作。作者据此认为,该表示在没有显式监督的情况下捕捉了结构化动力学。摘要未明确差分计算的具体对象、插值流程、训练损失,以及潜在动作到机器人控制指令的解码与监督条件,需结合全文核对。 结果方面,作者报告接入 VLA 模型后,在 LIBERO 上性能提升 14.3%,真实世界任务成功率提升 30%,且推理额外开销较小;潜在动作还用于策略联合训练,作者报告相较既有方法提升 10.4%。这些数字对应的具体基线、任务划分、统计不确定性,以及百分比是否表示相对增幅,摘要均未明确,不能改写为百分点提升或跨协议直接比较。作者还报告方法可扩展至真实机器人数据、仿真和人类第一视角视频,但各数据源的训练与评估关系尚未验证。 复现时需核对预训练 DiT 的来源与训练数据、编码器训练目标、两 token 压缩的信息保留能力、动作解码条件,以及推理开销的测量设置;实验协议、消融及统计信息尚未验证。本文主要研究对象是视觉机器人状态与动作表示,并非 EEG/BCI;静态图像生成先验和机器人动作结构不能直接视为神经信号上的有效机制,现有材料不足以支持具体迁移结论,相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是两 token 紧凑状态表示能否同时保留任务信息并通过潜在差分形成可执行动作;摘要报告了机器人任务收益,但其生成先验依赖、对照协议与泛化边界尚待全文验证。

来源:OpenReview · Representation learning · openreview.net