将自监督表征学习视为互信息最大化

基于摘要分析。本文研究自监督表征学习（SSRL）的目标函数能否约束优化策略与模型设计，从变分互信息下界出发，推导 Self-Distillation MI（SDMI）与 Joint MI（JMI）两类训练范式，为若干既有 SSRL 方法中的架构组件提供统一的理论解释。这里的 MI 指互信息，而非运动想象。 在作者提出的框架中，SDMI 依赖交替优化，stop-gradient 操作被解释为实现交替更新的机制；JMI 则允许通过对称架构进行联合优化，无须上述组件。作者进一步将 SDMI 中的 predictor networks 与 JMI 中的统计正则项解释为互信息目标的可处理替代形式，并指出多种既有 SSRL 方法可视为这两类范式的特例或近似。其主要贡献是建立目标、优化方式与结构选择之间的对应关系，而非仅归纳防止表征坍塌的经验做法。 摘要未给出互信息下界的具体形式、推导假设、覆盖的方法清单或实验指标，因此尚不能判断该统一解释的适用边界，也不能据此认定某类架构具有更高性能。理论条件、具体损失、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 自监督任务能够构造保留目标相关信息的配对视图，该框架可能帮助分析交替更新与联合更新的选择，以及预测器和统计正则项的作用；需改造的是 EEG 视图构造和编码器，不能假定原领域的解释直接适用于 EEG。低信噪比、通道差异及跨被试变化可能使模型主要学习噪声或被试特征。一个可检验的小实验是在固定 EEG 编码器、配对视图和数据划分下，对照符合两类范式的训练配置，联合检查表征坍塌与冻结编码器后的下游表现。此为迁移假设，已有 EEG 相关工作尚未检索确认。