使用监督损失的内存高效自监督对比学习

基于摘要分析。研究面向有限内存条件下的自监督表征学习，分析以样本索引作为标签、用监督损失训练的 DIET，并提出改进方法 S-DIET。核心贡献是建立 DIET 与对比学习的限定理论联系，分析其特征学习偏向，并改善表征质量与内存可扩展性；主要研究对象是通用表征学习，而非 EEG 或 BCI。 机制上，DIET 为每个样本赋予独立的索引标签，不依赖人工语义标注。作者证明：在线性编码器且使用 MSE loss 的条件下，DIET 等价于 spectral contrastive loss；这一结论不能直接推广至任意非线性编码器或其他损失。作者还证明 DIET 倾向学习噪声较少的特征，可能无法学到训练数据中的全部特征，并提出 feature normalization 来处理这一问题，使用 projection head 进一步提升性能。针对大型分类头带来的内存负担，S-DIET 进一步降低内存占用，但摘要未说明具体实现。 作者报告，在多种数据集和模型、有限内存且未进行广泛超参数调优的评估条件下，S-DIET 的线性探测 Accuracy 较 DIET 显著改善，并优于所比较的其他自监督方法。摘要未提供数据集名称、具体数值、内存预算、数据划分及基线配置，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其可迁移假设是，以 EEG 片段索引构造自监督任务，并复用特征归一化与投影头，有机会提供有限内存下的预训练方案。但实例监督依赖样本身份及增强关系，EEG 的增强方式、片段组织和下游读出均需改造；低信噪比可能促使模型学习稳定伪迹或被试身份，通道变化和小数据也可能削弱泛化。一个可证伪的小实验是在固定 EEG 数据划分、编码器及峰值内存预算下，对比 DIET、S-DIET 与对比学习基线，冻结编码器后评估跨被试线性探测 Accuracy，并消融特征归一化。原领域结论不构成 BCI 有效性证据，已有 EEG 相关工作尚未检索确认。