SAGE:基于状态—动作图嵌入的可泛化物体状态识别统一框架
SAGE: A Unified Framework for Generalizable Object State Recognition with State-Action Graph Embedding
基于摘要分析。本文研究视频中物体物理状态及其变化的识别,提出 SAGE(State-Action Graph Embeddings),通过跨物体、跨动作共享的细粒度语言描述视觉概念,统一建模物理状态转换,目标是改善对未见物体与动作的泛化。 方法上,SAGE 先利用 Large Language Models 构建 State-Action Graph,再借助 Vision-Language Models 进行多模态细化。其核心思路是将状态分解为可复用概念,而非仅依赖预训练视觉语言模型直接识别状态,或将状态限定于特定物体与动作。摘要未说明图节点与边的具体定义、嵌入目标、训练损失及视频时序信息的处理方式,这些机制尚待全文核对。 作者报告,在开放世界的未见物体和动作评估中,SAGE 优于现有基线;在 novel state recognition 上,相比此前最佳方法最高提升 14.6%,推理时间低于该对照方法的 5%。摘要未明确提升所对应的指标、百分比与百分点口径、数据集、划分及计时条件,因此这些数值不能脱离原协议比较。实验协议、消融及统计信息尚未验证。作者表示将公开代码与数据,当前材料不能确认已发布。 本文主要研究对象是视频物体状态识别,而非 EEG/BCI,也不能因来源栏目名称而将其视为时序状态空间模型论文。其机制依赖语言可描述、视觉可辨识且跨对象共享的状态概念;材料尚未建立这些概念与 EEG 表征之间的具体对应关系,因此不提出 BCI 迁移效果判断或复现实验建议。相关 EEG 工作尚未检索确认。
值得关注其以可共享的细粒度语言概念和 State-Action Graph 支持未见对象及动作泛化的机制,但具体评估协议与效率对照尚未验证,不能据此认定其对 EEG/BCI 有效。
来源:OpenReview · State space models · openreview.net