MLLMs 中的视觉表征规律

基于摘要分析。本文研究多模态大语言模型（MLLMs）中视觉表征质量与模型性能的关系，提出“Law of Vision Representation”，并用跨模态 Alignment and Correspondence score（AC score）量化跨模态对齐与视觉表征对应关系，尝试以此指导视觉表征选择和训练。 作者报告，在十三种视觉表征设置、八个基准的评估中，AC score 与模型性能呈线性相关。作者据此识别并仅训练其所称的最优视觉表征，避免每次都微调语言模型；在摘要所述流程下，作者报告计算成本降低 99.7%。具体基准、性能指标、成本比较基线、计算口径和训练配置尚未验证，因此不能将这一节省比例推广到其他模型或任务。 方法的关键在于把表征评估指标用于训练决策，而不只是事后解释性能。需结合全文核对 AC score 的计算方式、所需配对数据或监督信息，以及相关性是在何种模型与任务范围内建立的；实验协议、消融及统计信息尚未验证。摘要也不足以判断该指标能否在未参与关系拟合的新表征或新基准上保持预测能力。 平台推测（待验证）：跨模态对齐指标可能为 EEG—语言或 EEG—视觉表征筛选提供参考，但本文主要对象是 MLLMs 的视觉表征，并未提供 EEG/BCI 有效性证据。由于 AC score 的具体机制和数据依赖尚不明确，当前不宜直接给出迁移方案；已有 EEG 相关工作尚未检索确认。