增强负样本表征以实现持续自监督学习
Augmenting Negative Representation for Continual Self-Supervised Learning
基于摘要分析。本文研究持续自监督学习(CSSL)中的表征遗忘与新知识学习问题,提出通用损失 Augmented Negatives(AugNeg),通过联合利用当前与历史模型的负样本表征,尝试改善可塑性与稳定性的权衡;原研究对象是通用表征学习,并非 EEG 或 BCI。 核心机制:作者认为,传统“单一任务损失加稳定性正则项”的持续学习目标未必适合基于对比学习的 CSSL,因为任务损失可能面临负样本多样性下降,而正则项可能阻碍新辨别性表征的学习。AugNeg 包含两个对当前与历史模型负样本表征具有对称依赖关系的损失。作者主张,这种设计无需显式超参数调节即可形成较好的可塑性与稳定性权衡;该主张不能理解为整个训练流程无需调参。作者还提出,通过添加正则项,将增强负样本表征的思路用于非对比式 CSSL。 结果与证据边界:作者报告,在对比式和非对比式持续自监督算法的实验中,应用 AugNeg 优于其他先进 CSSL 方法。摘要未提供数据集、任务序列、对照方法名称、指标或数值,因此尚不能判断提升幅度及适用范围。具体损失公式、历史模型维护方式、训练与评估划分、实验协议、消融及统计信息尚未验证,复现需取得正文与实现细节。 平台推测(待验证):假设 EEG 连续到达的跨会话数据存在表征漂移与遗忘,可考虑复用当前/历史模型表征之间的损失设计,但需改造 EEG 编码器、信号增强及负样本构造。其依赖当前与历史表征及持续数据流;低信噪比、通道变化、被试差异和小数据条件可能使负样本差异主要反映采集条件,而非任务相关信息。一个可证伪的小实验是在固定 EEG 数据和会话顺序下,对比同一编码器使用常规持续自监督目标与 AugNeg 时,对历史会话表征保持及新会话下游解码的影响,并保持标签使用和评估协议一致。已有 EEG 相关工作尚未检索确认。
AugNeg 将当前与历史模型的负样本表征共同纳入持续自监督目标,为检验表征学习中的可塑性与稳定性权衡提供了具体机制,但其性能优势和 EEG 迁移价值仍需核对实验协议。
来源:OpenReview · Representation learning · openreview.net