非对比自监督学习的双重视角

基于摘要分析。该研究针对非对比自监督学习中的表示坍塌问题，从优化与动力系统两个视角分析 stop gradient（停止梯度）和 exponential moving average（指数移动平均，EMA），核心贡献是区分这些迭代程序的防坍塌作用与传统的目标函数最小化解释。 作者报告，一般情况下，这两种程序既不优化原始目标，也不优化任何其他光滑函数，但仍能避免表示坍塌。在线性情形下，作者沿用 Tian et al. 2021 的研究思路，并称不依赖该工作证明中的额外假设，即可从动力系统视角说明：不使用停止梯度或 EMA、直接最小化原始目标总会导致坍塌。这里的“总会”应限定于论文所分析的线性设定，不能扩展为所有非线性自监督模型的结论。 作者还报告，将这两种程序对应动力系统的平衡点显式刻画为参数空间中的代数簇，并证明其一般具有渐近稳定性。摘要提到使用真实与合成数据实验说明理论发现，但未提供具体数据集、模型、指标或数值；目标函数形式、稳定性成立条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该分析可能帮助理解 EEG 非对比自监督表征中的坍塌与训练稳定性，但原研究并非 EEG/BCI 验证。可复用的是对停止梯度、EMA 和平衡点稳定性的分析框架；迁移时需重新界定 EEG 的样本视图、增强策略和模型假设。低信噪比、通道差异及小数据可能使线性近似和稳定性结论不足以预测下游解码效果。一个可证伪的小实验是在固定 EEG 数据划分、增强和训练预算下，比较直接优化、停止梯度与 EMA 的线性编码器，联合检查表示协方差谱与下游解码指标，检验防坍塌是否伴随任务信息保留。已有 EEG 相关工作尚未检索确认。