跳到正文
OpenReview · Representation learning· Minjie Chen; Yao Cheng; Ye Wang; Xiang Li; Ming Gao·· 2023-01-01精选AI 评分73

图自对比表征学习

Graph Self-Contrast Representation Learning

AI 导读

基于摘要分析。本文研究图对比学习中负样本数量难以设定,以及无负样本方法需要额外策略抑制表征坍塌的问题,提出图自对比框架 GraphSC:从同一图生成一个正视图和一个负视图,以 triplet loss 学习图表征。 其自对比机制包含两个层面:一是利用不同强度的图增强,从图样本自身构造正负视图;二是使用 Hilbert-Schmidt Independence Criterion(HSIC)将表征分解为多个因子,并通过 masked self-contrast 机制改善正负样本的分离。由于 triplet loss 主要约束锚点与正负样本间的相对距离,作者进一步显式缩小锚点与正样本的绝对距离,意在加速收敛。具体增强操作、因子化方式、掩码规则及损失权重尚未验证。 作者报告在无监督与迁移学习设置下,将 GraphSC 与另外 19 种方法进行了比较;摘要未提供数据集、划分、评价指标或具体结果,因此不能据此判断性能优势、效率提升或坍塌控制效果。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 样本被表示为通道或脑区节点及其连接关系组成的图,可检验这种自对比机制能否用于图级自监督表征学习。可复用部分包括 triplet loss、HSIC 因子化与掩码自对比;需重新设计符合 EEG 生理特征的图构建及增强规则。关键假设是增强强度能够区分应保留与应排斥的表征,而不会破坏任务信息。低信噪比、通道配置差异和小数据可能使强增强产生伪负样本,或使模型主要学习被试差异。一个小规模可证伪实验是在固定 EEG 图构建和编码器、隔离被试的数据划分下,对比不同增强强度及移除 HSIC/掩码机制的版本,检查下游分类表现与表征坍塌迹象。已有 EEG 相关工作尚未检索确认。

阅读价值

GraphSC 将同一图的不同强度增强、HSIC 表征因子化与 triplet loss 结合,为核对正负视图构造及表征坍塌控制提供了具体方法线索,但其效果与 EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net