面向视觉语言模型潜在空间推理的多模态连续思维链

基于摘要分析。本文研究视觉语言模型中的多模态推理，提出 Multimodal Chain of Continuous Thought（MCOUT），以联合潜在空间中连续隐藏向量的迭代更新替代自然语言形式的中间推理，旨在改善视觉与文本信息的动态对齐。 方法包含两个变体：MCOUT-Base 复用语言模型的最后隐藏状态作为连续思维表示，进行迭代推理；MCOUT-Multi 引入多模态潜在注意力，加强视觉与文本特征之间的跨模态对齐。摘要虽以音频、视觉和文本的协调困难作为背景，但明确描述的方法与评估主要围绕视觉和文本，不能据此认定已验证音频推理能力。具体迭代规则、训练目标、监督方式及推理终止条件尚未验证。 作者报告，在包括 MMMU、ScienceQA 和 MMStar 的基准上，覆盖多项选择与开放式任务，相对摘要所称的强基线，Accuracy 最高提升 8.23%，BLEU 最高提升 8.27%。摘要未明确这些增益对应的具体任务、基线、数据划分，也未说明百分比是相对增幅还是绝对分数变化，因此不能改写为百分点，亦不能视为所有基准的统一收益。实验协议、消融及统计信息尚未验证。 复现时需核对底座模型、连续推理步数、训练与推理计算预算，以及两种变体和语言式 CoT 的对照条件。摘要提供了代码地址，但代码内容与可运行性尚未验证。本文主要研究对象是视觉语言推理，所给材料不包含 EEG 或 BCI 实验，相关应用效果尚未验证，已有 EEG 相关工作尚未检索确认。