面向 VideoQA 的多对象事件图表示学习

基于摘要分析。本文研究视频问答（VideoQA）中多个对象共同参与事件时的空间、时序与因果关系建模，提出对比式语言—事件图表示学习方法 CLanG。其主要贡献是将问题文本与相关的多对象事件图对齐，而不只建模单个对象的运动。 方法采用多层 GNN-cluster 模块进行对抗式图表示学习，并在问题文本与相关多对象事件图之间开展对比学习。摘要未说明事件图的节点、边与时间粒度如何定义，也未给出图聚类、对抗目标、正负样本构造及相关事件选择的具体实现，因此尚不能判断性能增益主要来自哪一部分。 作者报告，在 NExT-QA 与 TGIF-QA-R 两个 VideoQA 数据集上，相对强基线的 Accuracy 提升最高为 2.2%；在因果与时序问题上，相对基线提升为 2.8%。摘要未明确这些百分数是相对增幅还是百分点差，也未提供对应数据集、划分及基线细节，不能进一步换算或跨协议比较。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，通过图结构表达多个信号单元的交互，再与任务语义对齐，可能有助于 EEG 的关系建模。可复用的是图表示与跨模态对比学习思路，但视频对象及事件结构不能直接等同于 EEG 通道或神经事件；需重新定义节点、时序边和语义监督，并核对数据规模需求。低信噪比、跨被试差异、通道配置变化及小数据可能使图聚类不稳定，或使模型学到被试身份而非任务关系。一个可检验的小实验是在具有任务文本描述的 EEG 数据上，固定编码器和 Cross-subject 划分，仅比较加入关系图对齐前后的效果，并用打乱图连接作为对照。此建议不是原论文已验证结果，相关 EEG 工作尚未检索确认。