利用非对角信息的持续视觉-语言表征学习

基于摘要分析。该研究面向图像—文本样本持续到达时的 CLIP 训练，分析持续学习导致的多模态表征空间变化，并提出 Mod-X，通过选择性对齐对比矩阵的非对角信息分布，维持旧数据域的跨模态空间对齐，同时适应新数据域。研究对象是视觉—语言表征与跨模态检索，并非 EEG 或 BCI。 作者报告，相比摘要中提及的纯图像自监督持续学习，CLIP 在持续训练中的性能退化显著。作者从空间几何角度将相关变化概括为 Spatial Disorder（SD），进一步分为 Intra-modal Rotation（模态内旋转）和 Inter-modal Deviation（模态间偏移），并称通过经验与理论分析说明 SD 如何导致跨模态检索性能下降。Mod-X 的核心在于保留对比矩阵中的非对角信息，而非仅关注配对样本关系；具体选择规则、对齐目标和训练实现尚未验证。 作者报告，在不同规模与范围的常用数据集上，实验支持该方法有效。摘要未给出数据集名称、持续学习划分、对照基线、指标或数值，因此无法量化改善幅度，也不能判断不同数据流条件下的稳定性。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG—图像或 EEG—文本对比学习在持续引入数据时也出现关系结构漂移，非对角信息约束可能提供可复用的表征保持机制。该假设依赖可构建的跨模态配对数据与对比矩阵，需改造 EEG 编码器及样本关系筛选规则；低信噪比、被试与通道差异、小批量数据可能使旧关系本身不可靠。可在固定 EEG 跨模态任务中按会话顺序更新，对比普通持续微调与加入该约束时旧会话检索性能和空间关系的变化。上述仅为可检验假设，已有 EEG 相关工作尚未检索确认。