MM-LeJEPA：用于多模态联合嵌入预测架构的相关高斯正则化

基于摘要分析。该研究针对 LeJEPA 的各向同性任务先验未显式刻画多模态共享内容结构的问题，提出 MM-LeJEPA，通过推导相关高斯嵌入目标，将分布正则化与局部到全局预测结合，用于多模态自监督学习。原论文主要研究对象是通用多模态表征，并在公开音视频分类基准上评估，不是 EEG 或 BCI 方法。 机制上，原 LeJEPA 在其任务假设下，通过最小化控制任务平均平方预测偏差的 Fisher 信息准则，得到各向同性高斯目标，无需重建解码器、指数移动平均教师或对比负样本。MM-LeJEPA 将多模态任务建模为两类成分的强度加权组合：分别读取两种模态独立信息的成分，以及从两种模态读取相同内容的成分。在明确的梯度矩、对应关系与对称性假设下，作者推导出固定总方差约束下、最小化加权 Fisher 信息泛函的相关高斯目标，再以解析变换将 Sketched Isotropic Gaussian Regularization（SIGReg）适配到该目标。其双项训练目标由分布正则化和局部到全局预测组成，新增一个标量超参数，即目标跨模态相关性。 作者报告，在公开音视频分类基准上，该方法与有代表性的开源方法具有竞争力；摘要未给出基准名称、数据划分、指标或数值，不能据此判断具体优势。理论结论依赖上述假设，其适用范围、实验协议、消融及统计信息尚未验证。摘要称代码将发布，当前材料不能确认其已公开。 平台推测（待验证）：若 EEG 与另一模态具有可靠的样本对应关系，同时包含共享任务信息和模态独有信息，相关高斯目标可能为跨模态表征约束提供可检验的机制；这不等于已证实 BCI 收益。可复用候选是目标分布变换及正则化，编码器、局部到全局配对和目标相关性需按神经信号改造。低信噪比、跨被试差异、通道缺失及小数据可能使相关性估计不稳定，或将共同噪声误作共享内容。小规模验证可在同一配对数据与固定划分下，仅比较各向同性目标与不同相关性目标，并核对下游性能及表征退化情况。已有 EEG 相关工作尚未检索确认。