面向视频分类的事件级因果表征建模
Modeling Event-level Causal Representation for Video Classification
基于摘要分析。本文研究视频分类中过度依赖帧内物体信息、难以识别“修理自行车”等事件类别的问题,提出 Event-level Causal Representation Learning(ECRL),联合建模帧内物体交互与跨帧时间关联,构建事件级视频表征。研究对象是视觉视频分类,并非 EEG 或 BCI。 机制上,Frame-to-Video Causal Modeling(F2VCM)利用背景与前景信息建立帧内因果图,再建模跨帧关联,形成视频级因果图。Causality-aware Event-level Representation Inference(CERI)随后分别通过后门与前门干预处理上下文及物体中的虚假相关:前者以视觉上下文去偏过滤背景混杂因素,后者通过全局—局部因果注意力提取事件级视觉信息。相较摘要所述的常规 Transformer 帧特征聚合,作者强调显式关系建模与因果干预,而不只是物体特征汇总;具体因果变量、图结构学习方式、识别假设及干预估计方法尚需正文核对。 作者报告,在两个基准数据集上的实验支持 ECRL 更好地捕捉跨帧关联并表征事件。摘要未给出数据集名称、划分、指标、数值与具体对照,因而无法量化收益;实验协议、消融及统计信息尚未验证。作者称源代码见补充材料,但当前未核验代码及复现条件。 平台推测(待验证):其潜在可迁移点是“局部交互—跨时间关系—去混杂”的建模思路,而非直接复用视觉模型。迁移至 EEG 需重新定义时间窗、通道或脑区变量,以及可观测混杂因素;视觉前景与背景不能直接对应神经活动与噪声。低信噪比、跨被试差异、通道变化及小数据可能使关系估计不稳,原方法所需监督与数据规模也尚未验证。若能合理定义变量,可在固定 Cross-subject 划分下,以相同 EEG 编码器比较普通时间聚合与关系建模,并单独检验去混杂模块是否带来增益。已有 EEG 相关工作尚未检索确认,该设想不构成 BCI 有效性证据。
值得核对其如何将帧内交互与跨帧关系统一为事件级因果表征,以及后门、前门干预的识别假设与实现;摘要尚不足以确认去混杂效果或 EEG 迁移价值。
来源:OpenReview · Representation learning · openreview.net