视觉—语言组合推理中的表征最优性不可辨识问题

基于摘要分析。本文研究 CLIP 的跨模态对齐为何不保证组合关系推理能力，以及这种局限如何传递给采用其图像编码器的多模态大语言模型（MLLMs）。作者提出 token 感知的因果表征学习框架，以可辨识性分析区分“对比目标达到最优”与“能够区分组合语义”，并据此提出硬负样本补救策略。 理论机制方面，框架以序列化语言 token 的结构因果模型（SCMs）为基础，将块可辨识性扩展到 token 化文本。作者声称证明，CLIP 的对比目标能够在 token 层面恢复模态不变潜变量，但这一性质不足以保证组合语义可辨识：存在实现完美模态不变对齐的“伪最优”文本编码器，却对原子概念上的 SWAP、REPLACE 和 ADD 操作保持不变，因此仅达到对比目标最优并不保证区分原始描述与其硬负样本。 下游影响方面，作者将上述问题经由模态间隙传递至图像编码器，并报告一个与下游算法无关的不可能性结论：若 MLLMs 使用这类伪最优编码器接收图像，则在受影响查询上，增加投影器、LLM 容量或进行指令微调都不能使表现超过机会水平。这是针对特定编码器与查询条件的理论结论，不能扩展为所有 CLIP 编码器或所有 MLLMs 均无法进行组合推理。 作者报告硬负样本策略能够改善 CLIP 与 MLLMs，但摘要未给出具体构造、数据集、划分、指标或效果数值。定理假设、模态间隙在证明中的作用、实验协议、消融及统计信息尚未验证。本文主要研究对象是视觉—语言表征；材料未提供 EEG/BCI 验证，不能据此认定相关结论可直接迁移。