跳到正文
OpenReview · State space models· Yuan Zang; Zitian Tang; Junho Cho; Jaewook Yoo; Chen Sun·· 2025-09-19精选AI 评分75

SAGE:基于状态—动作图嵌入的可泛化物体状态识别统一框架

SAGE: A Unified Framework for Generalizable Object State Recognition with State-Action Graph Embedding

AI 导读

基于摘要分析。该研究面向视频中物体物理状态及其转变的识别,提出 SAGE(State-Action Graph Embeddings),试图改善预训练视觉语言模型对细粒度状态与时间上下文的刻画,以及专用识别框架对未见物体或动作的泛化能力;主要研究对象是结构化视频理解,而非 EEG 或 BCI。 核心机制是将物体状态分解为细粒度、以语言描述的视觉概念,使这些概念能够在不同物体和动作之间共享。框架先利用 Large Language Models 构建 State-Action Graph,再通过 Vision-Language Models 进行多模态细化。其方法价值在于以可共享概念和图关系统一描述物理状态转变;图嵌入的具体形式、训练目标、视觉与语言信息的融合方式,以及时间上下文如何进入模型,摘要均未展开。 作者报告,该方法在开放世界设置下能够泛化到未见物体与动作;在 novel state recognition 任务上,相较此前最佳方法的提升最高为 14.6%,推理时间低于该对照方法的 5%。摘要未说明该提升对应何种指标、是相对增幅还是百分点变化,也未给出具体数据集、划分、对照方法及计时硬件,因此不能据此进行跨协议性能比较。 复现时需核对未见物体与动作的划分方式、图构建与多模态细化流程,以及推理计时是否包含相关模型调用。实验协议、消融及统计信息尚未验证。材料未提供与神经信号建模的具体对应机制,不能将其视频识别结果解释为已验证的 BCI 方法收益。

阅读价值

值得关注其将物体状态分解为可跨物体与动作共享的语言概念、并以状态—动作图组织关系的机制,但未见对象与动作上的泛化效果及推理开销仍需结合完整评估协议核验。

来源:OpenReview · State space models · openreview.net