Universal Representation 最新动态

利用 Guided Stop-gradient 的隐式对比表征学习

基于摘要分析。本文研究自监督 Siamese networks 在拉近正样本对表征时出现的表示坍塌问题，提出 guided stop-gradient，利用源编码器与目标编码器的非对称架构隐式引入对比学习思想，并将其应用于 SimSiam 和 BYOL。 机制与贡献：显式对比学习通过推远负样本对避免坍塌，但摘要指出，这类方法对负样本数量减少不够稳健。本文从仅使用正样本对的方法出发，通过 guided stop-gradient 调整非对称学习过程，而不是依赖显式负样本。摘要未说明梯度引导的具体规则、损失形式或编码器更新方式，因此尚不能判断其与原有 stop-gradient 机制的实质差异。 结果与证据边界：作者报告，在 SimSiam 和 BYOL 上加入该方法可稳定训练并提升性能；作者还报告，该方法在小批量条件下有效，且移除 predictor 后仍不发生坍塌。摘要未提供数据集、批量大小、评价指标、数值结果及对照配置，实验协议、消融及统计信息尚未验证。作者称代码位于补充材料，其可获取性与复现条件尚未核对。 平台推测（待验证）：假设该机制能够在较少样本下维持表征多样性，它可能适用于受批量规模限制的 EEG 自监督预训练。原方法依赖由变换构造的正样本对及源—目标非对称架构；可尝试复用梯度控制机制，但需改造 EEG 编码器与正样本构造，避免增强破坏任务相关信息。低信噪比、跨被试差异和通道变化可能使正样本关系失真，小数据下不坍塌也不等于学到有效表征。可检验的小实验是在固定 EEG 数据划分、增强方式及训练预算下，对比原始 SimSiam 与加入该机制的版本，改变批量大小，同时测量表征方差与冻结编码器后的下游性能。已有 EEG 相关工作尚未检索确认。