生成式多模态模型表征适应的局限

研究考察生成式多模态大语言模型（MLLM）在常见输入损坏下，能否通过基于表征的测试时自适应（Test-Time Adaptation，TTA）恢复性能，并从视觉 token 序列的偏移几何解释其局限。基于摘要分析，作者报告：即使放宽标准 TTA 假设、离线利用目标数据，不区分样本的特征对齐也只能带来有限的 Accuracy 恢复。 核心对照是 CLIP 类对比模型与生成式 MLLM 的表征结构。作者指出，前者的单个池化分类嵌入可受益于共享的域偏移方向；相比之下，MLLM 的视觉 token 序列偏移近乎正交，并遍布整个嵌入空间。因此，在单个编码器位置施加对所有样本、所有 token 位置共享的校正，可能难以覆盖这些偏移。逐 token 生成也是摘要强调的适配难点，但具体影响路径尚未验证。 结论应限定于上述不区分样本、位置共享且作用于单个编码器位置的表征校正，不能据此断言所有 MLLM 测试时自适应或所有表征干预均无效。摘要未提供具体模型、损坏数据集、数据划分、对照配置或量化结果；实验协议、消融及统计信息尚未验证，离线目标数据的使用方式也需核对正文。 平台推测（待验证）：其对 EEG 的潜在启发是先检验偏移是否具有可共享方向，再判断统一表征校正是否适用，而非直接迁移 MLLM 结论。原机制依赖 token 级表征及目标数据的离线分析；若用于 EEG，需按通道与时间结构改造偏移估计，并控制低信噪比、被试差异及小样本造成的方向估计不稳定。一个可证伪的小实验是在固定 EEG 编码器的跨会话设置中，用同一会话数据的配对干净与人为扰动片段估计表征偏移，检验其方向集中度及共享校正的效果。该实验仅检验人为扰动下的机制，不代表真实跨会话 TTA 有效；已有 EEG 相关工作尚未检索确认。