通过外部全模态嵌入估计全模态大语言模型的不确定性

基于摘要分析。本文研究全模态大语言模型（OLLMs）的不确定性量化，提出利用外部全模态嵌入评估 Chain-of-Thought 回答的模型无关框架，衡量推理与多模态输入的关联依据及推理内部的一致性。主要贡献是一组置信度信号及其可靠性条件的经验分析，而非单一估计器。 机制与成本：框架不需要被评估模型的 logits、隐藏状态或梯度，也不需要再次调用该模型推理；但仍需辅助模型对推理轨迹分段，聚合分数还需要带标签的校准集。因此，“无需追加被评估模型推理”不等于无需额外计算或监督。具体嵌入模型、分段方法、几何分数定义与聚合形式尚未验证。 作者报告，几何分数之间高度冗余，划分内部的平均秩相关系数为 0.91–0.94，但与答案离散度基线具有较强互补性，其可靠性依赖生成器与输入模态。作者报告，聚合分数的校准集可小至 25 个样例，但相较于预先固定一个信号，该校准集带来的收益有限；此结果不应解读为所有任务均仅需 25 个样例。 在 UNO-Bench 上，作者使用一个闭源模型和一个开放模型评估，报告相对 self-consistency 的收益较小：闭源生成器上的改善较一致，开放生成器上的结果则不一致；与 self-verbalisation 和内部状态基线相比具有竞争力，尤其是在开放式全模态问题上。摘要未提供具体性能数值，模型名称、数据划分、评价指标、消融及统计信息尚未验证。 本文主要研究多模态语言模型回答的置信度，而非 EEG 解码或 BCI。现有材料不足以建立其几何置信度信号与神经信号解码误差的具体对应关系，不能据此推断 BCI 有效性；已有 EEG 相关工作尚未检索确认。