跳到正文
arXiv · 泛化与分布偏移· Zixuan Liu; Joris Köster; Zizhan Zheng; Siavash Khajavi·· 5 天前AI 评分69

检索何时有帮助?视觉-语言-动作模型中的上下文适应研究

When Does Retrieval Help? A Study of In-Context Adaptation in Vision-Language-Action Models

AI 导读

基于摘要分析。本文研究视觉-语言-动作(VLA)模型适应未见机器人任务时,检索专家示范是否以及如何改善上下文适应。作者在 RICL 框架内比较不同检索机制,关注检索质量与下游任务表现之间的关系,而非提出新的参数更新方法。 RICL 根据当前 VLA 观测检索专家示范,并在测试时将其作为额外上下文。本文比较四种策略:基于图像的检索、加入 VLA 状态信息的检索、使用 VLA 骨干特征的检索,以及随机检索。摘要未说明具体相似度计算、示范数量、上下文编码与动作生成方式,这些实现细节尚未验证。 作者报告,在所评估的 RICL 机器人任务中,没有一种检索策略在任务成功率上始终优于其他策略,随机检索也取得了不可忽略的成功率;标准检索质量诊断不能可靠反映下游 VLA 表现;来自不同但相关任务的示范能够提供有用的可迁移信息。这些结论提示,应分别评估检索相关性与最终策略表现,不能仅凭检索诊断推断适应收益。具体任务、数据规模、未见任务划分、成功率数值、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码模型能够接收带标签示例作为上下文,可借鉴该研究的检索对照思路,检验“相似样本”是否真正帮助跨被试或跨会话适应。可复用的是示例检索与下游性能分开评估的设计;需改造的是 EEG 特征表示、示例标签及上下文接口。该假设依赖可用的示例库与上下文学习能力,机器人专家示范有效不等于 EEG 示例有效,低信噪比、被试差异、通道不一致和小样本均可能使检索失效。一个小规模可证伪实验是在固定目标测试划分、模型和上下文示例数量的条件下,比较 EEG 特征检索、随机检索与无上下文基线,确保示例库不含测试样本,并核对检索诊断是否与下游 Accuracy 的变化一致。已有 EEG 相关工作尚未检索确认。

来源:arXiv · 泛化与分布偏移 · arxiv.org