跳到正文
OpenReview · State space models· Ke Cao; Xuanhua He; Tao Hu; Chengjun Xie; Jie Zhang; Man Zhou; Danfeng Hong·· 2024-01-01精选AI 评分71

Shuffle Mamba:采用随机打乱的多模态图像融合状态空间模型

Shuffle Mamba: State Space Models with Random Shuffle for Multi-Modal Image Fusion

AI 导读

基于摘要分析。本文研究多模态图像融合,针对 Mamba 类状态空间模型使用固定扫描策略可能引入先验偏置的问题,提出 Random Shuffle 扫描及配套 inverse shuffle,并构建 Shuffle Mamba Framework。其主要贡献是将这一变换对用于模态信息表征与跨模态交互,并在测试时采用 Monte-Carlo 平均。 机制方面,作者以 Mamba 的线性复杂度长程建模能力为基础,提出受贝叶斯思想启发的随机扫描策略;inverse shuffle 旨在恢复打乱前的信息对应关系,维持信息协调不变性。框架沿空间轴与通道轴组织模态感知表征和跨模态交互,目标是减轻固定扫描偏置并形成无偏的全局感受野。上述性质属于作者提出的设计目标,摘要不足以核对其理论条件、实现方式与适用边界。测试阶段的 Monte-Carlo 平均旨在使输出更接近期望结果,但采样次数、聚合方式与额外计算成本尚未验证。 作者报告,在多个多模态图像融合任务上,方法获得了优于现有先进方法的融合质量。摘要未给出任务名称、数据集、划分、评价指标或具体数值,因而不能量化优势或判断不同任务间的一致性;实验协议、消融及统计信息尚未验证。材料仅说明代码将在论文接收后提供,不能据此认定代码已公开或论文已接收。 平台推测(待验证):若将多通道 EEG 表征为具有稳定位置对应关系的特征阵列,随机扫描与逆变换可能用于检验固定通道遍历顺序带来的归纳偏置;这一假设并非本文已验证结论。可复用的是扫描变换对与测试时平均思路,需改造输入表征、通道位置编码及任务输出。时间顺序不可任意打乱,低信噪比、跨被试通道差异和小数据训练也可能使随机化破坏有用结构或增加方差。一个可检验的小实验是在相同 Cross-subject 划分、骨干和训练预算下,对照固定通道扫描与随机通道扫描加逆变换,分别核对任务指标、重复推理波动及耗时。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 Random Shuffle 与 inverse shuffle 如何减少固定扫描的先验偏置,以及 Monte-Carlo 平均对融合质量、输出稳定性和推理成本的影响,但其 EEG/BCI 迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net