面向联合嵌入自监督学习的数据集级正则化

基于摘要分析。本文研究联合嵌入自监督学习中，依赖当前 minibatch 估计防坍塌正则项所带来的统计范围限制，提出批外正则化（out-of-batch regularization）：在 CPU 内存中维护数据集级状态，并在 minibatch 训练时使用全局构建的逐实例锚点，使正则化不再仅由当前批次决定。 其核心区分是：批量大小不仅影响优化与显存占用，也会改变自监督目标中正则项的估计。作者报告，在自然图像和生物医学数据上的分析中，小批量条件下，这些锚点比常规批内估计更接近全体样本正则化梯度。摘要未说明锚点的具体构造、状态刷新频率、损失形式，以及 CPU 状态与训练设备之间的数据传输方式。 作者将该原则用于二维、三维数据上的对比与非对比学习。作者报告，相较各自对应的批内目标，所得方法在图像分类、受控类别不平衡下的少数类表现、实例检索及持续自监督预训练中均有改善，且小批量时收益最大。摘要未提供具体数据集、划分、指标和提升数值，实验协议、消融及统计信息尚未验证；也需核对数据集级状态的存储开销与更新滞后对结果的影响。 平台推测（待验证）：该机制可能对应 EEG 自监督预训练中因长序列或多通道输入而难以扩大批量的瓶颈，但原文主要对象是图像与生物医学数据，不能据此认定已有 EEG 效果。迁移假设依赖可索引、可反复访问的训练样本集合；可复用数据集级状态与逐实例锚点思路，需重新设计 EEG 增强方式和状态更新策略。低信噪比、跨被试差异、通道配置变化及小数据可能使全局锚点偏向噪声或被试身份。一个可检验的小实验是在固定 EEG 训练划分、编码器、增强与训练步数下，对比小批量批内正则化和批外正则化，观察跨被试下游任务表现、表征坍塌诊断及内存与耗时；数据集级状态仅覆盖训练划分。相关 EEG 工作尚未检索确认。