跳到正文
OpenReview · Representation learning· Minseok Jeong; Hyewon Choi; Hiroyasu Tsukamoto; SooJean Han·· 17 天前精选AI 评分77

视觉-语言-动作模型的线性表征假说

The Linear Representation Hypothesis for Vision-Language-Action Models

AI 导读

基于摘要分析。本文研究视觉-语言-动作(VLA)模型中的线性表征假说(LRH):当内部表征、策略动作与物理状态相互反馈时,能否通过线性探测预测物理关注量(QoI)的未来演化,并通过线性干预调节其期望值。核心贡献是提出基于 signature 的理论表述,将表征与策略统一分析,而非仅考察静态语义属性的线性可读出性。 在表征侧,作者提出存在性结论:存在一类表征,可通过线性探测恢复给定候选动作轨迹下 QoI 的未来演化。在策略侧,作者引入用于随机动作块的 signature generalized linear model;在这一结构下,沿自然参数空间中的线性路径移动,会使未来 QoI 的期望值发生单调变化,从而支持线性引导。该结论具有特定结构前提,不能直接等同于任意预训练 VLA 都可被可靠地线性控制。 摘要说明,研究先在受控 oracle 设置中验证上述结构,再考察预训练 VLA 是否呈现相同的探测与引导机制;未提供具体模型、任务、数据规模、指标或定量结果,实验协议、消融及统计信息尚未验证。全文中尤其需要核对理论成立条件、候选动作轨迹的获得方式,以及预训练模型上的经验结果是否满足理论前提。 平台推测(待验证):该框架与闭环 BCI 中“神经表征—解码动作—环境反馈”的耦合问题存在概念对应,但本文主要研究对象是 VLA,并非 EEG 或 BCI。若迁移,需要重新定义神经信号表征、动作轨迹与反馈量,并验证低信噪比及跨被试差异下的线性可读出性;尚未检索确认已有 EEG 相关工作,当前材料不足以提出具体复现实验方案。

阅读价值

值得关注其将线性探测与策略干预纳入同一动态系统框架的理论路径,但预训练 VLA 中是否具备相应结构及实际干预效果,仍需全文结果验证。

来源:OpenReview · Representation learning · openreview.net