揭示用于语言锚定多模态视觉—脑对齐的深层语义不确定性感知

基于摘要分析。研究针对从 EEG、MEG 和 fMRI 中恢复视觉语义时的被试差异及视觉特征纠缠问题，提出 Bratrix，以语言语义作为锚点进行多模态视觉—脑对齐，并引入不确定性感知加权以应对含噪神经信号。 核心机制是将视觉刺激拆分为层级化的视觉与语言语义成分，将视觉表征和脑表征投影到共享潜在空间，形成对齐的视觉—语言及脑—语言嵌入。框架使用可学习的语言锚定语义矩阵增强跨模态关联，并在对齐过程中施加不确定性感知权重。摘要进一步将 Bratrix-M 的对齐改进与“单模态预训练后进行多模态微调”的两阶段训练策略联系起来，但未明确 Bratrix 与 Bratrix-M 的结构关系；语义层级的构建、不确定性的估计方式及具体损失尚未验证。 作者报告，在 EEG、MEG 和 fMRI 基准上的检索、重建及描述生成任务中，该方法优于所比较的先进方法。摘要在 200-way EEG 检索任务中使用“surpassing 14.3%”表述，但未明确该数值是最终指标、相对提升还是百分点差值，因此不能据此写成准确率或确定的提升幅度。数据集名称、被试数量、Within-subject 或 Cross-subject 协议、数据划分、对照基线、消融及统计信息尚未验证。 复现时应重点核对语言语义来源、训练与测试刺激划分，以及不确定性权重是否确实改善含噪条件下的表现。作者称代码和模型可用，但当前材料未提供具体资源地址、权重信息或运行条件，尚不能确认其复现完备性。作者关于“首个”端到端框架的定位也需结合相关工作核查。