跳到正文
OpenReview · Representation learning· Xiaoguang Chang; Teng Wang; Shaowei Cai; Changyin Sun·· 2023-11-01精选AI 评分70

LANDMARK:用于场景图生成的语言引导表征增强框架

LANDMARK: language-guided representation enhancement framework for scene graph generation

AI 导读

基于摘要分析。LANDMARK 面向场景图生成(SGG)中的复杂视觉特征与长尾问题,通过对象类别产生的语言先验增强谓词相关表征,而非仅依赖损失函数或数据平衡策略。其主要研究对象是图像中主语对象、宾语对象及二者关系的预测,并非 EEG 或 BCI。 机制上,框架先将对象标签映射为三种不同的语义嵌入。Language Attention Module(LAM)将主语—宾语词嵌入转为注意力向量;Experience Estimation Module(EEM)据此估计谓词分布;Language Context Module(LCM)则从词嵌入编码全局语言上下文,避免仅依赖孤立的局部信息。各模块输出用于更新视觉表征及 SGG 模型预测。作者强调,语言表征均由对象类别生成,不需要额外知识。 作者报告,该框架不依赖特定 SGG 模型,能持续改善现有模型表现,并可与其他去偏方法兼容。摘要未给出数据集、划分、基线、指标或提升幅度,因此尚不能判断其对稀有谓词的收益及整体性能权衡;实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但代码可运行性、配置与复现结果尚未核验。 平台推测(待验证):若某类 EEG 任务具有推理时可用的外部对象类别及关系上下文,可假设借鉴其“类别语义—关系先验—信号表征更新”机制,而不能将目标 EEG 标签直接视作已知对象标签。可复用思路是语义注意力与上下文融合,需改造对象—谓词结构和 EEG 编码接口;低信噪比、跨被试差异及小数据可能使模型过度依赖语义先验。一个可证伪的小实验是在具有相应上下文的数据上,固定 EEG 编码器和跨被试划分,对比无语义模块、真实上下文与打乱上下文;若真实上下文不优于对照,则该迁移假设不获支持。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其如何仅用对象类别构建多种语言先验并更新视觉关系表示,但摘要未提供定量结果,其长尾改善幅度及对其他任务的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net