DiJEPA：通过潜空间扩散进行自监督学习

基于摘要分析。DiJEPA 面向自监督视觉表征学习，将 Joint-Embedding Predictive Architectures（JEPAs）中根据可见上下文预测掩码目标表征的任务，改写为连续潜空间中的扩散预测。核心贡献是在表征学习过程中联合优化潜空间，并以去噪方式学习目标视图潜变量的分布。 机制上，DiJEPA 将 Feature Auto-Encoder（FAE）与编码器联合训练，把高维表征映射到低维连续潜变量；扩散预测器再以学生视图表征为条件，通过去噪重建目标视图潜变量。摘要将其与连续空间直接回归、量化目标上的 token-softmax 预测区分：前者不显式建模目标分布，后者在离散空间中进行分布匹配。摘要不足以确认具体损失、梯度路径、正则化及训练稳定性设计。 作者报告，在 ImageNet-1K、ViT-L 骨干和非蒸馏设置下，DiJEPA 的线性探测 top-1 Accuracy 为 83.24%，并列出 DINOv3 的 83.3% 作为比较；两者训练预算和评估细节是否一致尚未验证。作者还报告，使用联合学习的 FAE 潜变量进行图像生成，在潜空间扩散训练 80 个 epoch、无 CFG 的条件下取得 2.74 gFID；该结果属于图像生成评估，不等同于表征分类能力。 平台推测（待验证）：若 EEG 中可构造保留任务语义的上下文与目标视图，连续潜变量分布预测或可用于掩码建模。可复用 FAE 与条件去噪思路，但需改造 EEG 编码器、时间及通道掩码策略，并检验潜空间是否保留神经信号而非伪迹。低信噪比、跨被试差异及小数据可能使联合潜空间不稳定。一个可证伪的小实验是在固定 EEG 数据划分、编码器与训练预算下，对比直接回归和扩散潜变量预测的冻结表征线性探测结果，同时检查潜变量退化情况。已有 EEG 相关工作尚未检索确认；实验协议、消融及统计信息尚未验证。