MLLMs 中的视觉表征规律

基于摘要分析。本文研究多模态大语言模型（MLLMs）中视觉表征的选择与模型性能之间的关系，提出“Law of Vision Representation”，以跨模态对齐程度和视觉表征对应性衡量表征质量，并据此指导视觉表征的选择与训练。 核心机制是使用 cross-modal Alignment 和 Correspondence score（A、C 分数）量化上述因素。作者报告，在十五种不同视觉表征设置、八个基准的评估中，A、C 分数与模型性能呈二次关系。摘要未说明两项分数的具体定义、计算所需数据或监督信号，也未说明二次关系的拟合与独立验证方式，因此目前应将其理解为作者报告的经验关系，而非已确认可普遍外推的定律。 作者报告，利用该关系识别并训练最优视觉表征，无需反复微调语言模型，可减少 99.7% 的计算成本。该数字对应摘要所述表征选择与训练场景；成本基线、计算范围、模型配置、具体基准、性能指标及最优性的判定标准尚未验证。实验协议、消融及统计信息亦尚未验证。 平台推测（待验证）：若 A、C 分数能够推广到非视觉模态，这种先评估表征、再决定是否进行昂贵适配的思路，可能用于 EEG 与语言模型连接时的编码器筛选，但视觉领域的相关性不等于 EEG/BCI 有效性。可复用的是表征质量评估与候选筛选流程；需改造的是 EEG 表征及其与文本的对齐、对应性定义，并依赖有可靠配对关系的数据。低信噪比、跨被试差异、通道配置变化和小样本可能使分数失真。一个可检验的小实验是：固定语言模型与数据划分，比较少量 EEG 编码器的候选分数能否预测同一跨被试协议下的下游性能排序。已有 EEG 相关工作尚未检索确认。