联合嵌入自监督学习的数据集级正则化

基于摘要分析。本文研究联合嵌入自监督学习中，面向整体表征分布的正则化却通常仅在当前 minibatch 内计算的问题，提出 out-of-batch regularization：在 CPU 内存维护数据集级状态，并在 minibatch 训练时使用全局构建的逐实例目标，使正则化不再局限于当前批次。 核心机制是将增强视图之间的表征对齐与分布正则化区分开来：前者服务于联合嵌入学习，后者用于防止表征坍塌。作者报告，在自然图像和生物医学数据集的评估中，这些全局锚点在小 batch 条件下，比传统 minibatch 估计更忠实地近似全数据集正则化梯度。摘要未说明数据集级状态的更新频率、目标构造公式，以及内存、计算和数据遍历开销，相关实现条件尚未验证。 作者将方法用于对比式 SimCLR 与非对比式 SIGReg，并报告相较各自的 in-batch 目标，在图像分类、受控类别不平衡下的少数类表现、实例检索及持续自监督预训练中均有改善，且小 batch 下收益最大。摘要未提供具体数据集、划分、指标或数值；实验协议、消融及统计信息尚未验证。作者据此认为，数据集级正则化可以与 minibatch 优化解耦，使 batch size 成为优化层面的选择，而不决定正则项的几何性质。 平台推测（待验证）：该机制可能对应 EEG 自监督预训练中受显存限制的小 batch 分布估计问题，但依赖可索引的训练实例和可维护的数据集级状态。可考虑复用全局状态与逐实例目标机制，同时改造 EEG 增强方式及实例定义；低信噪比、跨被试分布差异、通道不一致及小数据条件可能使全局目标失真或强化被试身份。一个可证伪的小实验是在固定 EEG 编码器、增强、训练步数和 Cross-subject 划分下，对比不同 batch size 的 in-batch 与 out-of-batch 目标，并仅用训练被试维护全局状态，检验小 batch 收益及资源开销。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。