跳到正文
arXiv · 多模态与生成机制· Carson Sobolewski; Anjali Parashar; Fei Chen; Yingke Li; Chuchu Fan·· 2 天前精选AI 评分78

移除这一视觉损坏会改变什么?视觉-语言-动作模型的失败归因

What Would Removing This Corruption Change? Failure Attribution for Vision-Language-Action Models

AI 导读

基于摘要分析。本文研究视觉-语言-动作(VLA)模型在视觉损坏下的失败归因:不仅判断损坏是否存在,还估计在当前任务执行回合中移除某种损坏能降低多少失败风险,尤其关注多种损坏同时出现的情况。 方法采用因子化风险模型,分别学习场景与损坏的表征,并根据当前图像和任务指令,通过潜变量干预估计移除损坏的收益。其关键区别是:损坏存在不等于损坏导致当前失败,因此单纯检测损坏不足以确定修复优先级。摘要称,该估计无需配对干净图像或额外的反事实策略执行;训练所需标签、数据构造及表征分离约束尚未验证,不能据此认定训练完全不依赖配对信息。 作者报告,在 OpenVLA 与 π₀.₅ 的仿真评估,以及 Franka 机器人上 π₀.₅-DROID 的硬件评估中,该方法优于整体式模型和视觉-语言模型(VLM)基线;相较前沿 VLM,归因误差约低至其三分之一。摘要未给出具体基线名称、误差定义、样本规模或数据划分,实验协议、消融及统计信息尚未验证。作者还报告,该方法能随执行情境及损坏强度调整归因,并可用于硬件在线失败监测。 平台推测(待验证):其“信号异常是否存在”与“移除异常是否改善任务”相区分的思路,可能用于研究 EEG 解码中的伪迹归因,但机器人视觉结果不构成 BCI 有效性证据。若迁移,需要将视觉场景与损坏表征改造为任务相关神经活动与伪迹表征,并具备可核对的伪迹干预及解码结果。低信噪比、小样本、跨被试及通道变化可能使两类表征难以分离。可先在固定被试内划分下,对保留原始参考的 EEG 注入可控伪迹,比较模型预测的移除收益与实际解码性能变化,检验归因排序是否可靠;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将腐败检测与移除收益估计分开的故障归因机制;作者报告了仿真与机器人验证,但潜变量干预的有效性及归因误差评估协议仍需全文核对。

来源:arXiv · 多模态与生成机制 · arxiv.org