跳到正文
OpenReview · Representation learning· Jianming Zheng; Fei Cai; Jun Liu; Yanxiang Ling; Honghui Chen·· 2024-01-01精选AI 评分71

用于事件表示预训练的多结构对比学习

Multistructure Contrastive Learning for Pretraining Event Representation

AI 导读

基于摘要分析。本文研究叙事事件链的表示学习,将单个事件编码为低维向量,以支持相似性区分、缺失事件预测等下游任务;这里的“事件”是叙事中的语义事件,并非 EEG 事件相关电位。作者提出异质事件图模型 HeterEvent,并以多结构对比学习框架 MulCL 扩展其训练,旨在捕获序列中不直接相连但语义相关的事件片段,同时缓解数据稀疏与标注不足带来的训练风险。 机制上,HeterEvent 显式表示事件片段之间的关系;MulCL 从两个结构视角学习:SeqCL 面向序列特征,GraCL 通过比较不同受扰动图来增强图训练的鲁棒性。摘要未说明正负样本构造、图扰动策略、损失形式及两种视角的融合方式,模型标记 [W+E] 的具体含义也尚未验证。 结果方面,作者报告 MulCL_[W+E] 优于所比较的先进基线。相较此前的监督模型 HeterEvent_[W+E],在推理能力类任务上,Accuracy 平均提升 5.3%;在表示能力类任务上,困难相似性任务的 Accuracy 平均提升 2.7%,传递性句子相似性任务的 Spearman’s correlation 提升 4.1%。这些数值仅对应摘要所述任务与对照;其相对增幅或绝对差值口径、数据集、划分、基线配置、消融及统计信息尚未验证,不能改写为百分点或与其他协议直接比较。 平台推测(待验证):可借鉴的是序列结构与关系图结构的双视角训练,而非将叙事事件直接等同于神经信号。若 EEG 任务已有可定义的时间片段和关系图,可假设 SeqCL 对应时间依赖、GraCL 对应通道或片段关系,但需改造信号编码器、图构建及扰动规则;原方法对语义关系、监督来源和数据规模的依赖仍需核对。低信噪比、跨被试差异、通道变化及小数据可能使扰动破坏任务信息,或使对比学习捕获被试身份。一个可检验的小实验是在固定跨被试划分和同一编码器下,对比序列单视角、图单视角与双视角训练,检验组合是否稳定改善预先指定的任务指标。已有相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是序列视角与图视角对比学习如何共同缓解叙事事件表示中的数据稀疏问题;作者报告了相对既有 HeterEvent 的性能提升,但具体评估协议与提升口径尚需全文核对。

来源:OpenReview · Representation learning · openreview.net