视觉有助于听觉：用于听觉注意解码的多模态数据集与基于 Mamba 的双分支并行网络

基于摘要分析。该研究针对 EEG 听觉注意解码（AAD）中视听输入覆盖不足、单域特征难以兼顾时间与频率信息的问题，构建多模态数据集 MM-AAD，并提出基于 Mamba 的双分支并行网络 M-DBPNet，以识别听者正在关注的说话者。 数据方面，MM-AAD 纳入视听刺激；作者称其为首个包含此类刺激的 AAD 数据集，但该优先性尚未独立核实。摘要未提供被试数量、刺激组织方式、EEG 通道配置、采集流程或数据开放条件，尚不能判断其覆盖范围与复现可用性。 方法方面，M-DBPNet 通过双分支融合时域与频域特征，并引入 Mamba 提取时间序列中的时序信息。摘要未说明各分支的具体输入表示、融合方式、损失函数及训练流程，因此不能进一步判断收益主要来自 Mamba、时频互补还是其他设计。 结果方面，作者报告：在 within-trial 设置下，引入 Mamba 以更少参数提升了解码表现；在 cross-trial 设置下，模型表现出较强泛化能力。摘要未给出指标、数值、对照模型及划分细节。这里的 within-trial 与 cross-trial 分别涉及试次内与跨试次设置，不能据此替换为被试内或跨被试结论，也不能推及跨会话泛化。 作者报告的可视化分析表明，视觉刺激增强了诱发响应及颞叶、枕叶激活，并有助于听觉感知和解码表现。其分析方法、统计支持，以及视觉条件与纯听觉条件的具体对照尚未验证。复现时值得核对试次划分、视听刺激匹配、Mamba 与时频融合的独立贡献，以及参数量比较的基线范围；实验协议、消融及统计信息尚未验证。