利用非对角信息的持续视觉—语言表征学习

基于摘要分析。本文研究图像—文本样本持续到来时，如何持续训练 CLIP 并减轻旧数据域上的性能退化，提出 Mod-X（Maintain off-diagonal information-matriX），通过选择性对齐对比矩阵的非对角信息分布，维持多模态表征空间的对齐。 作者报告，与其考察的纯图像自监督持续学习情形相比，CLIP 在持续学习设置下存在显著且不可忽略的性能退化。论文从空间几何视角将表征变化归纳为 Spatial Disorder（SD），包括 Intra-modal Rotation（模态内旋转）与 Inter-modal Deviation（模态间偏离）；作者报告，通过经验分析与理论分析说明了 SD 如何导致跨模态检索性能下降。Mod-X 的核心思路是在不断拟合新训练数据域时，利用对比矩阵中的非对角信息约束旧域多模态表征的对齐，而非仅关注配对样本本身。 作者报告，该方法在不同规模与范围的常用数据集实验中有效，但摘要未提供数据集名称、持续学习阶段划分、对照方法、评价指标或具体数值。非对角信息的选择规则、对齐损失形式、旧域信息如何保存或访问，以及实验协议、消融及统计信息尚未验证，复现需核对全文。 平台推测（待验证）：其可迁移假设是，EEG—文本或 EEG—图像持续表征学习中的遗忘，也可能部分来自模态内几何关系和模态间对齐的漂移；这一机制若成立，可尝试复用非对角关系约束，但需适配 EEG 编码器、跨模态配对方式与持续数据流协议。原方法依赖图像—文本对比学习结构，其样本规模及监督细节尚未验证；EEG 的低信噪比、被试差异、通道变化和小样本可能使关系矩阵不稳定，从而保留噪声或妨碍新域适应。可在固定划分的 EEG—图像配对数据上，比较顺序训练与加入该约束后的旧域检索保持率和新域检索表现，并检验空间漂移是否同步减少。已有 EEG 相关工作尚未检索确认。