跳到正文
OpenReview · Representation learning·· 2026-09-19精选AI 评分76

SURE:用于高效视觉-语言-动作学习的时空不确定性表征

SURE: Spatiotemporal Uncertainty Representation for Efficient Vision-Language-Action Learning

AI 导读

基于摘要分析。SURE 面向机器人操作中的视觉-语言-动作(VLA)策略学习,研究如何减少对大量示范数据的依赖。其核心是显式建模动作空间中的空间多解性与时间变化,避免将每个示范动作都视为唯一精确目标。 机制上,SURE 在 VLA 骨干上增加轻量级转置卷积概率动作解码器,利用相邻动作分箱之间的局部相关性表征空间不确定性;同时引入 Soft-DTW 对齐监督,容纳预测动作片段与示范动作片段之间的局部速度和时序差异。两者分别对应“多个邻近动作均可完成任务”和“语义等价示范执行速度不同”的问题,而非单纯扩大模型或示范规模。具体概率参数化、损失组合及骨干配置尚未验证。 作者报告在 LIBERO、RoboTwin 2.0 和真实机器人操作任务上进行评估,并称仅使用 10% 的示范数据或 20% 的训练步数时,操作成功率即可达到或超过基线 VLA。摘要未列出各任务对应的成功率、基线名称及资源比较细节,不能据此将两个比例视为同一实验条件;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其时序对齐机制可能适用于具有明确连续动作轨迹监督、但执行速度存在差异的 EEG 驱动控制学习;概率动作解码器则依赖输出动作具有可定义的邻近关系,不能直接等同于 EEG 分类标签的不确定性建模。迁移时需改造 EEG 编码及动作输出接口,低信噪比、跨被试差异与小数据可能使软对齐吸收噪声或错配意图。一个可检验的假设是:在具有同步 EEG 与连续动作轨迹的小规模固定划分数据上,仅替换逐时刻监督为 Soft-DTW,对比轨迹误差及意图切换延迟,检验其是否减少时序偏移影响而不模糊真实切换。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其概率动作解码与 Soft-DTW 对齐能否分别缓解动作多解性和示范时序差异,但摘要中的数据与训练效率结论仍需结合具体基线、划分及消融验证。

来源:OpenReview · Representation learning · openreview.net