跳到正文
OpenReview · Representation learning· Jie Xu; Shuo Chen; Yazhou Ren; Xiaoshuang Shi; Hengtao Shen; Gang Niu; Xiaofeng Zhu·· 2023-01-01精选AI 评分73

通过多视图间自加权对比学习缓解表征退化

Self-Weighted Contrastive Learning among Multiple Views for Mitigating Representation Degeneration

AI 导读

基于摘要分析。该研究针对多视图对比学习中的表征退化问题:不同视图可能天然包含不一致的语义,或学习到的表征未保留足够的判别信息,使常规对比约束难以有效工作。作者提出 SEM(SElf-weighted Multi-view contrastive learning with reconstruction regularization),通过自加权对比学习与自监督重建正则共同缓解这一问题。 机制上,SEM 先度量成对表征之间的差异,再最小化相应的自加权对比损失,以自适应增强有用视图对的作用、减弱不可靠视图对的影响。同时,重建项对编码器的隐藏特征施加约束,辅助对比学习保留数据中的判别信息。摘要未给出差异度量、权重映射及重建目标的具体形式,不能据此确定其实现方式。 作者报告,在公开多视图数据集上的实验中,SEM 能缓解现有对比学习方法的表征退化并改善性能;作者还报告,不同加权策略与重建项的消融支持这些组件的有效性。摘要未列出数据集名称、具体任务、划分协议、对照方法、指标或增益幅度,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应问题是多种信号表征或多模态视图之间的信息不一致,而不是已证实的 BCI 性能提升。可复用的是视图对加权与重建正则的组合思路;需要根据 EEG 的时序结构、通道布局及视图定义改造编码器、差异度量和重建目标。低信噪比下,表征差异可能反映噪声或被试差异而非视图可靠性,重建约束也可能保留伪迹,小样本条件下权重估计可能不稳定。一个可检验的假设是:在固定 EEG 数据划分与编码器的条件下,对其中一个视图逐级加入噪声,比较普通对比学习、仅加权、仅重建和两者结合,观察分类表现与视图权重是否随污染程度合理变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 SEM 将视图对可靠性加权与自监督重建正则结合,用于缓解多视图语义不一致下的表征退化,但具体增益及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net