跳到正文
OpenReview · Representation learning· Akhlaqur Rahman Sabby; Yi Sui; Tongzi Wu; Jesse C. Cresswell; Ga Wu·· 2025-09-08AI 评分78

作为互信息最大化的自监督表征学习

Self-Supervised Representation Learning As Mutual Information Maximization

AI 导读

基于摘要分析。本文研究自监督表征学习(SSRL)的目标是否约束其优化策略与模型设计,从变分互信息下界出发,推导 Self-Distillation MI(SDMI)和 Joint MI(JMI)两种训练范式,为既有方法中的架构组件提供理论解释。此处 MI 指互信息,而非运动想象。 作者提出,SDMI 内在要求交替优化,因此 stop-gradient 在该范式下具有理论必要性;JMI 则允许通过对称架构进行联合优化,无需此类组件。在这一表述中,SDMI 的 predictor network 与 JMI 的统计正则化分别成为互信息目标的可处理替代形式。作者报告,许多既有 SSRL 方法可被解释为这两类范式的特例或近似,但摘要未列明具体方法及映射条件。 其主要贡献是尝试从学习目标解释优化与架构选择,而非仅归纳防止表征坍塌的启发式设计。阅读正文时需核对变分下界的假设、替代目标与原目标的关系,以及各项结构约束的适用范围,不能据摘要将 stop-gradient 的必要性推广至所有自监督方法。实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一框架可能帮助分析 EEG 自监督学习中双视图构造、梯度阻断与统计正则化的作用,但原领域的理论解释不等于已证实的 BCI 效果。迁移依赖 EEG 视图是否保留任务相关共享信息;可复用训练范式,需重新设计时序与通道增强及表征模块。低信噪比、跨被试差异和小数据可能使共享信息更多反映伪迹或被试身份。可在固定数据划分、编码器和增强条件下,对同一 SDMI 实现仅切换 stop-gradient,检验表征坍塌与下游任务表现;该实验只能检验特定实现下的预测。已有 EEG 相关工作尚未检索确认。

来源:OpenReview · Representation learning · openreview.net