跳到正文
OpenReview · Representation learning·· 2026-08-20精选AI 评分76

联合嵌入预测学习中掩码难度的闭环调节

Closing the Loop on Masking Difficulty for Joint-Embedding Predictive Learning

AI 导读

基于摘要分析。本文研究视觉联合嵌入预测学习中固定掩码策略与动态变化的表征难度不匹配的问题,提出 Feedback-Controlled Data Augmentation(FCDA):利用在线表征几何反馈调节掩码策略,同时保持原有训练目标不变。主要研究对象是视觉表征学习,并非 EEG 或 BCI。 I-JEPA 从可见上下文预测目标块的嵌入,原始基线在训练中固定采样 M=4 个目标块。FCDA 使用无梯度传感器,沿特征协方差中较弱但可可靠估计的方向测量掩码引起的表征位移,再由控制器调整目标块数 M,使位移跟踪依据原始 I-JEPA 基线校准的参考值。其关键是根据当前表征受到的实际扰动闭环调整任务,而非仅按预设日程改变掩码。 作者报告,在 ImageNet-1K、ViT-Tiny/16 和随机种子匹配的实验条件下,FCDA 相对原始基线的线性探测 top-1 Accuracy 提高 3.13 个百分点,并优于固定策略及目标块数近似匹配的开环对照。作者还报告自然图像识别迁移收益与更宽的最终协方差谱,但 CLEVR 的 best-of-four 表现仍接近基线。具体迁移任务、best-of-four 的选择协议、控制器形式、协方差估计稳定性、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 掩码建模中的扰动难度也随表征演化,FCDA 的反馈思路可能用于调节时间片段或通道掩码数量;可复用的是几何传感与闭环控制框架,需改造的是掩码单元、参考值校准及协方差估计。该机制依赖足够稳定的在线特征统计,低信噪比、通道差异、跨被试分布变化及小数据可能使反馈追踪噪声而非有效学习难度。可在同一 EEG 数据与固定划分下,对比固定掩码、平均掩码量匹配的开环策略和闭环策略,检验下游性能及反馈稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其基于表征几何反馈调节掩码难度的机制,以及相对固定掩码和近似目标块数匹配开环对照的收益;其对 EEG 自监督学习的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net