面向基于常识的场景图生成的多原型空间学习
Multi-Prototype Space Learning for Commonsense-Based Scene Graph Generation
基于摘要分析。该研究面向基于常识的场景图生成,针对单原型表示难以覆盖同一谓词类别内视觉外观差异的问题,为每个谓词类别维护多个原型,以刻画类别内部的多个中心并改善谓词识别。研究对象是视觉关系中的谓词,而非 EEG 或 BCI 信号。 框架包含原型—谓词匹配、原型更新和原型空间优化三个步骤:使用 triple-level optimal transport,将同一类别中的谓词特征匹配至特定原型;根据匹配结果通过动量更新调整原型;再利用类间可分性损失与类内紧凑性损失优化原型空间。相较单原型表示,其核心变化是显式容纳类别内部的多模态结构。最优传输的具体层级、损失形式、原型数量及初始化方式尚未验证。 作者报告,该方法在 Visual Genome 数据集上的评估显著优于当时的先进方法;摘要未提供具体指标、数值、数据划分或对照方法,因此不能量化优势,也不能判断其对低频谓词的独立贡献。实验协议、消融及统计信息尚未验证,复现还需核对特征提取方式、匹配约束、动量参数与实现条件。 平台推测(待验证):若带类别标签的 EEG 特征在同一任务类别内存在稳定的多模态分布,多原型机制可能比单中心表示更适合描述这些差异。可复用的是原型匹配、动量更新与空间约束;需改造的是 EEG 特征编码及原型分配,并防止原型主要捕获被试、会话或噪声差异。低信噪比、通道变化和小数据可能导致匹配不稳定或原型塌缩。一个可检验的小实验是:在固定 EEG 编码器和相同 Cross-subject 划分下,对比单原型与多原型分类头,仅用训练集标签更新原型,检验预先指定指标及原型稳定性。原领域有效不等于 BCI 有效,已有 EEG 相关工作尚未检索确认。
值得阅读的是其通过多原型、最优传输匹配与动量更新处理谓词类内多模态分布的机制,但摘要所述 Visual Genome 性能优势及其向 EEG 的适用性均需进一步核验。
来源:OpenReview · State space models · openreview.net