跳到正文
arXiv · 泛化与分布偏移· Huailiang Ma; Yuxuan Li; Ziyi Zhao; Xinkai Wang; Mingyu Li; Xinyu Guo; Lifeng Zhu; Aiguo Song; Cewu Lu; Jianhua Sun·· 19 小时前精选AI 评分77

ObjDream:以对象级理解与未来状态预测引导视觉-语言-动作模型

ObjDream: Guiding Vision-Language-Action Models with Object-Level Understanding and Future State Prediction

AI 导读

基于摘要分析。ObjDream 面向机器人操控中视觉-语言-动作(VLA)模型对对象布局、杂乱场景和背景变化的鲁棒性问题,通过对象级时空表示与未来对象状态预测,补充预训练视觉-语言骨干主要采用的图像级表征。 核心机制包括:时空对象编码器将视觉观测组织为跨时间的 object slots,以独立通道表征持续的对象身份与动态对象状态;这些结构化表示被插入视觉-语言模型(VLM)的 token 序列,并通过身份引导路由调节 VLM 对相应对象 token 的注意力。此外,动作条件对象动力学模块在训练阶段预测与操控相关的紧凑未来对象状态,为机器人动作下的状态演化提供显式监督;推理阶段不要求执行未来状态预测。摘要未说明具体损失形式、对象身份监督来源及额外训练成本,尚待核对正文。 作者报告,在 LIBERO、LIBERO-Plus 和 RoboTwin 2.0 的分布偏移与场景扰动评估中,ObjDream 改善了泛化表现;作者还报告,真实机器人实验展示了对新对象排列及背景变化的迁移能力。摘要未提供数值结果、数据划分、对照基线或真实实验规模,因此暂不能判断收益幅度及各模块的独立贡献;实验协议、消融及统计信息尚未验证。 该工作的主要研究对象是具有视觉对象结构和动作条件状态演化的机器人操控,而非 EEG 解码。其对象身份与状态分离依赖可追踪对象及动作—状态关系,不能直接将 EEG 通道视为对应对象。当前材料不足以建立具体的 EEG/BCI 机制对应关系,因此不提出迁移实验方案;相关 EEG 工作尚未检索确认。复现前需核对对象表示构建、训练监督、扰动评估协议及实现可用性。

阅读价值

值得关注其将对象身份与动态状态分离、以动作条件未来状态预测辅助训练的机制,但摘要仅报告机器人操控中的泛化改善,不能据此认定对 EEG/BCI 有效。

来源:arXiv · 泛化与分布偏移 · arxiv.org