MLLMs 中的视觉表征规律

基于摘要分析。本文研究多模态大语言模型（MLLMs）中视觉表征与模型性能的关系，提出以跨模态对齐和视觉表征中的对应关系共同衡量表征质量，并据此减少视觉表征筛选与训练过程中的计算开销。 核心机制是 cross-modal Alignment and Correspondence score（AC score），用于量化上述两个因素。作者报告，在十三种视觉表征设置、八个基准的评估范围内，AC score 与模型性能呈线性相关。摘要未提供两个因素的具体计算方式、分数的组合形式及各基准使用的性能指标，因此不能将这一观察视为对任意 MLLM 或任务均成立的普遍规律。 作者进一步利用这一关系识别并仅训练最优视觉表征，避免每次都微调语言模型。作者报告，该流程使计算成本降低 99.7%；摘要未说明成本核算口径、比较基线及对应训练配置，该数字应限定在原文实验条件下理解，而非一般性的训练加速比例。 复现时需核对 AC score 的计算所需数据与监督、视觉表征候选的构造、评分与最终评估的数据划分，以及相关性在不同模型和任务间是否稳定。具体模型、基准名称、训练细节、消融及统计信息尚未验证。本文的主要对象是 MLLMs 的视觉表征，并非 EEG 或 BCI；摘要尚不足以建立具体的神经信号迁移路径，已有 EEG 相关工作尚未检索确认。