方差–协方差正则化改善表征学习

基于摘要分析。本文研究图像与视频的监督预训练为何可能损害特征迁移性，将 VICReg 中的自监督正则化技术引入监督学习，提出 Variance-Covariance Regularization（VCReg），以促进更丰富、可迁移的特征学习。 核心机制是鼓励表征保持高方差、低协方差，缓解监督目标偏重于降低预训练损失所需特征的问题。摘要指出，将正则化应用于中间表征属于其高效实现的实践建议，但未提供具体损失形式、权重、施加位置及计算开销，不能据此重建完整训练配置。 作者报告，在图像与视频迁移学习的多项任务和数据集上，VCReg 提升了性能，并达到作者所称的最先进水平；作者还报告其对长尾学习和层级分类有效。摘要未列出数据集、划分、对照基线或具体指标，因此尚不能判断收益幅度与适用边界。作者认为效果可能与缓解 gradient starvation 和 neural collapse 有关，这一机制解释仍需结合正文证据核对。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 监督预训练同样过度依赖少量源任务特征，VCReg 的表征多样性约束可能具有迁移价值。可复用的是中间表征正则化思路，需适配 EEG 编码器、表征统计维度和批次构成。其依赖足够可靠的表征统计；低信噪比、被试差异、通道不一致及小数据条件可能使方差约束保留噪声，或使协方差估计不稳定。一个可检验的小实验是在固定编码器、预训练数据与微调预算下，对照加入与不加入 VCReg 的跨被试迁移，按被试隔离划分，并同时检查下游性能和表征统计是否改善。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。