利用非对角信息的持续视觉—语言表征学习

基于摘要分析。本文研究图像—文本样本持续到达时，如何持续训练 CLIP 并减轻性能退化，提出 Mod-X（Maintain off-diagonal information-matriX），通过选择性对齐对比矩阵的非对角信息分布，维持旧数据域的多模态表征空间对齐，同时适应新数据域。 作者报告，与其讨论的纯图像自监督持续学习情形相比，CLIP 在持续训练中的性能退化更明显。论文从空间几何角度将表征变化归纳为 Spatial Disorder（SD），包括 Intra-modal Rotation（模态内旋转）与 Inter-modal Deviation（模态间偏移）；作者称通过实证与理论分析说明了 SD 如何导致跨模态检索性能下降。Mod-X 的机制重点是保留非对角信息所承载的表征关系，而非仅关注图像—文本配对本身；具体选择规则、损失形式及旧域信息如何获取和保存，摘要未展开。 作者报告在不同规模与范围的常用数据集上验证了方法有效性，但摘要未提供数据集名称、持续学习划分、对照基线、指标或数值。实验协议、消融及统计信息尚未验证，因而目前无法判断收益大小、额外存储与计算成本，或其对不同域变化程度的稳健性。 平台推测（待验证）：若研究场景具有配对 EEG—文本或 EEG—图像数据，并存在连续到达的数据域，该方法的关系分布保持机制可能对应跨模态持续学习中的旧域对齐退化问题。可复用的是对比矩阵非对角关系约束，需改造信号编码器、配对方式及持续学习协议；原方法依赖的配对质量、批次构成和训练规模仍需核对。EEG 的低信噪比、跨被试差异、通道变化与小样本可能使关系约束固化噪声或妨碍新域适应。一个可证伪的小实验是在固定通道、按会话顺序训练的配对数据上，对比持续微调与加入该约束后的旧会话跨模态检索保持及新会话适应表现。已有 EEG 相关工作尚未检索确认。