方差–协方差正则化改善表征学习

本研究针对监督预训练可能优先学习降低源任务损失的特征、从而限制特征迁移性的问题，将自监督方法 VICReg 中的正则化技术引入监督学习，提出 Variance-Covariance Regularization（VCReg）。基于摘要分析，未取得论文全文。 核心机制是鼓励网络学习高方差、低协方差的表征，以促进更丰富的特征学习。作者介绍了在不同网络架构中实施该正则化的实践建议，并提出针对中间表征的优化正则化策略；具体损失形式、约束作用位置、权重设置及训练流程尚未验证。 作者报告，VCReg 在所评估的多项任务和数据集上改善了迁移学习表现，也改善了长尾学习与层级分类表现。摘要未提供具体数据集、划分、对照基线、指标或数值，因此不能判断收益幅度及适用边界。作者的分析提示，其效果可能与缓解 gradient starvation 和 neural collapse 有关；这属于机制解释，不能据摘要视为已确立的因果结论。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 监督预训练也存在表征过度依赖源任务判别特征的问题，VCReg 的表征约束可能值得迁移评估。可复用部分是对中间表征的方差与协方差正则化；需改造部分包括 EEG 编码器中的作用位置、时间维与通道维的表征组织，以及适应小批量训练的统计估计。该机制依赖批内表征统计，低信噪比可能使高方差约束保留噪声，跨被试差异可能强化身份相关特征，小数据与通道差异也可能削弱约束稳定性。 一个可检验的小实验是在固定 EEG 编码器、训练数据和 Cross-subject 划分下，对比不加 VCReg 与加入 VCReg 的监督预训练，并在相同目标被试适配条件下评估迁移表现及表征统计，检查收益是否跨划分稳定。此方案仅为假设检验建议，已有 EEG 相关工作尚未检索确认。