视觉–语言模型的表征空间对齐

基于摘要分析。本文研究视觉–语言模型（VLMs）中视觉与文本表征的模态差距，提出 Representational Space Alignment（RSA）损失，将对齐目标从同语义表征之间的高角度相似性，转向两个潜在空间的相对几何结构一致性。 作者认为，视觉与文本骨干在数据、架构及训练目标上的归纳偏置不同，严格的语义表征对齐可能压制模态特有信息。RSA 受词嵌入向量运算和大语言模型线性函数向量现象启发，鼓励视觉潜在空间的相对几何结构映照语言潜在空间，而非要求对应表征精确重合。摘要未给出损失公式、几何关系的计算方式、表征采样策略或与原训练目标的组合方式。 作者报告，所考察的现有 VLMs 单模态骨干结构对齐较弱，跨层尤为明显，且末层对齐最好；加入 RSA 后，跨模态对齐水平提高，并更快达到较高对齐水平。作者还报告，在 MME、MMBench、RealWorldQA 和 OK-VQA 上获得一致收益，并在有限训练数据条件下改善数据效率。具体模型、训练数据规模、划分、对照基线、指标及提升幅度未在摘要中提供，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 与语言或视觉监督之间存在可学习的语义关系，结构对齐可能用于缓解异质模态难以逐点匹配的问题；原研究对象仍是视觉–语言模型，不构成 EEG/BCI 有效性证据。可复用的是相对几何约束思路，需改造 EEG 编码器、时间聚合和跨模态配对方式。低信噪比、跨被试及通道差异可能使 EEG 几何主要反映个体或采集条件，小数据下结构估计也可能不稳定。一个可检验的小实验是：在固定 EEG 编码器、数据划分与训练预算下，比较原目标和加入结构对齐约束后的 Cross-subject 表现，并用打乱语义配对作为对照。已有 EEG 相关工作尚未检索确认。