AV-Mamba：用于音视频问答的跨模态选择性状态空间模型

基于摘要分析。本文研究音视频问答（AVQA）：根据视频中的视觉对象、声音及其关系回答问题。作者提出 CM-Mamba，通过跨模态选择机制，让状态空间模型（SSM）的参数随另一模态的输入动态调整，以利用音频、视觉与文本信息。 原任务的关键是定位与问题相关的音视频片段，并判断特定视觉区域是否产生了相关声音。材料介绍的既有方法主要采用音频引导的视觉注意力和问题引导的时间注意力。作者认为，音视频片段并不总是相关，其关系也会随时间变化；面对长序列，注意力加权可能仍聚合不相关片段。这是作者提出方法的动机，并非所给材料已验证的普遍结论。 核心机制是将 Mamba 的输入依赖选择扩展为跨模态条件选择：不只依据当前模态，而由另一模态的输入调节 SSM 参数。材料未说明具体调节哪些参数、模态交互方向、融合结构、损失函数或训练与推理流程。所给摘要也未提供数据集、划分、基线、性能数值或效率测量，因此不能确认其相对注意力方法的优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务具有时间对齐的刺激、行为或其他模态信息，跨模态条件选择可能对应长时程信号中任务相关片段筛选的瓶颈。可考虑复用条件化 SSM 思路，但需改造 EEG 输入编码、时间对齐及任务输出，并核对条件信息在实际推理时是否可用。低信噪比、跨被试差异、通道变化与小数据可能导致模型依赖辅助模态捷径，而非有效利用 EEG。一个可检验的假设是：在固定划分和相同训练预算下，对比 EEG 单模态 SSM、跨模态条件 SSM及打乱辅助模态时间对齐的对照，检验收益是否依赖真实对齐。该建议不是本文已验证的 BCI 结果；已有 EEG 相关工作尚未检索确认。