统一 JEPA 与语言监督用于视觉表征学习的实证研究

基于摘要分析。本文研究如何统一预测式视觉自监督与语言监督，提出 CLIPred，将 I-JEPA 的联合嵌入预测目标与 CLIP 的语言监督目标联合优化，以学习通用视觉表征。主要研究对象是视觉表征学习，并非 EEG 或 BCI。 机制与对照：I-JEPA 采用预测式表征学习，区别于对比式或生成式自监督方法；CLIPred 则将这一目标与语言监督结合。作者比较了联合训练、仅使用 CLIP、仅使用 I-JEPA，以及顺序应用两种方法，并以 DINOv2+CLIP 为另一对照。摘要还提到考察损失权重、各目标使用的数据量、批大小、架构设计以及 patch 嵌入的语义，但未给出具体损失形式、训练配置或分析结果。 作者报告，在所评估的零样本分类、检索和探测任务中，CLIPred 总体优于单目标及顺序训练方案；相较 DINOv2+CLIP，零样本迁移更好且训练成本更低，但探测性能存在权衡。摘要未提供数据集、划分、指标数值及计算成本口径，因此不能据此判断优势幅度或各任务的一致性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若具备配对的 EEG—文本描述及可用于预测学习的 EEG 片段，可假设联合预测式自监督与语言对齐有助于兼顾信号结构和语义信息；但视觉结果不构成 BCI 有效性的证据。可复用的是双目标联合优化思路，需改造信号编码、预测单元和文本配对机制。低信噪比、跨被试与通道差异，以及小数据下文本标签过粗，都可能削弱互补性。一个可检验的小实验是在固定跨被试划分和训练数据下，对比预测式自监督、语言监督、顺序训练与联合训练，并控制训练预算。已有 EEG 相关工作尚未检索确认。