跳到正文
OpenReview · Representation learning· Jie Xu; Shuo Chen; Yazhou Ren; Xiaoshuang Shi; Heng Tao Shen; Gang Niu; Xiaofeng Zhu·· 2023-09-22精选AI 评分73

用于缓解表征退化的多视图间自加权对比学习

Self-Weighted Contrastive Learning among Multiple Views for Mitigating Representation Degeneration

AI 导读

基于摘要分析。本文研究多视图对比学习中的表征退化问题:不同视图可能天然具有不一致的语义,或学习到的表征未能保留充分的判别信息。作者提出 SEM(SElf-weighted Multi-view contrastive learning with reconstruction regularization),通过视图对自加权对比学习与自监督重建正则化,调节跨视图对齐并辅助保留判别信息。 核心机制是先度量成对表征之间的差异,再最小化相应的自加权对比损失,以自适应强化有用的视图对、弱化不可靠的视图对;同时对编码器隐特征施加自监督重建项。其方法重点并非一律加强跨视图一致性,而是根据视图对的可靠程度调整对齐力度,并用重建约束辅助表征学习。差异度量、权重计算及重建目标的具体形式尚未验证。 作者报告,在公开多视图数据集的实验中,SEM 能缓解现有对比学习方法的表征退化并改善性能;作者还报告,消融研究支持不同加权策略和重建项的有效性。摘要未提供数据集名称、划分、基线、具体指标或提升幅度,实验协议、消融细节及统计信息尚未验证。 平台推测(待验证):若 EEG 的不同频带、通道组或模态被构造为多个视图,且共享部分任务信息,SEM 的自适应对齐机制可能对应视图质量不均与语义不一致问题。可复用的是视图对加权与重建约束思路,需改造的是 EEG 编码器、视图定义及重建目标;其对配对数据、监督方式和数据规模的具体要求仍需核对正文。低信噪比下,表征差异可能更多反映噪声或被试差异,重建项也可能保留伪迹,小数据条件下的权重估计可能不稳定。一个可证伪的小实验是在固定的跨被试划分、相同编码器与训练预算下,对比基础多视图对比学习、仅加权、仅重建和完整 SEM,并对某一视图施加可控噪声,检验性能及权重变化是否符合预期。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SEM 如何通过视图对自加权与重建正则化缓解语义不一致下的表征退化,但其对 EEG 多视图学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net