通过无参数表征对齐理解多模态幻觉

基于摘要分析。本文研究多模态大语言模型（MLLMs）的对象幻觉与图像表征之间的关系，提出无参数表征对齐度量 Pfram，用于比较两个表征系统的相似性，并借助图像对象真值标注评估模型表征与标注所表征的人类表示系统的对齐程度。 核心方法的特点是不需要额外训练参数，作者希望据此尽量隔离图像表征之外因素的影响。这里的“人类表示系统”由图像真值标注代理，并非直接测量的人脑神经表征；其对齐结果应在这一操作性定义下理解。摘要未给出 Pfram 的计算公式、表征采样方式或标注处理细节。 作者报告，在涵盖不同架构和规模的多种 MLLMs 上，与对象标注的对齐程度和对象幻觉之间呈现较强且一致的相关性。作者还利用该度量考察不同模块、文本指令以及替换视觉编码器等因素，但摘要没有提供具体模型、数据集、幻觉指标、效应大小或干预结果。实验协议、消融及统计信息尚未验证，不能据此认定某一模块导致幻觉，也不能将相关性直接解释为降低幻觉的有效干预。摘要提供了代码链接，实际实现与复现条件仍需核对。 平台推测（待验证）：Pfram 的无参数表征比较思路可能用于 EEG 编码器表征分析，但需先验证其对 EEG 数据结构的适用性。假设任务标签能够充当有限的语义参照，可在固定被试与数据划分下，比较编码器表征—标签对齐程度与独立测试集解码表现是否一致；这不等同于原论文的对象幻觉任务。需改造表征取样及标签参照方式，并警惕低信噪比、被试差异和小样本导致的对齐估计不稳定。已有 EEG 相关工作尚未检索确认。