Coupled Mamba:通过耦合状态空间模型增强多模态融合
Coupled Mamba: Enhanced Multimodal Fusion with Coupled State Space Model
基于摘要分析。该研究针对多模态融合中复杂的模态内与模态间关联,提出 Coupled SSM,并构建 Coupled Mamba,在保留模态内状态演化过程独立性的同时耦合不同模态的状态链,试图兼顾跨模态交互建模与硬件感知并行计算。 核心机制是跨模态隐状态转移:当前状态依赖本模态状态链及相邻状态链在前一时间步的状态。为适配硬件感知并行设计,作者通过引入历史状态、推导状态方程得到全局卷积核。其可核对的机制特点是将模态交互引入状态演化过程;具体耦合拓扑、参数化方式、训练目标及并行实现细节尚未验证。 作者报告,在 CMU-MOSEI、CH-SIMS、CH-SIMSV2 的多域输入实验中,相较摘要所称的当前先进方法,三个数据集的 F1-Score 分别提高 0.4%、0.9% 和 2.3%;摘要未明确这些百分比表示相对增幅还是百分点差值,因此不能转换解读。作者还报告推理速度提升 49%、GPU 显存节省 83.7%,但对应基线、硬件、输入规模及测量条件尚未验证。数据划分、实验协议、消融及统计信息均需结合全文核对。 平台推测(待验证):该机制可能适用于具有时间对应关系的 EEG 与其他模态序列融合,但原任务结果不等于 BCI 有效。可复用的是跨模态状态耦合思路;需改造输入编码、采样率对齐和缺失模态处理。EEG 低信噪比、跨被试差异及小数据条件可能使耦合传播噪声或增加过拟合风险。一个可检验的小实验是在同一同步多模态数据集与相同跨被试划分下,对比独立状态链、简单后期融合与耦合状态链,并检验单模态受噪声污染时的性能变化。相关 EEG 工作尚未检索确认。
值得核对其跨模态状态耦合与硬件并行实现:摘要给出了具体的状态交互机制及效果、效率结果,但比较基线与评估协议仍需全文验证。
来源:OpenReview · State space models · openreview.net