跳到正文
OpenReview · State space models· Bo Li; Haoke Xiao; Lv Tang·· 2024-12-10AI 评分68

利用分形扫描增强视觉状态空间模型

Boosting Vision State Space Model with Fractal Scanning

AI 导读

基于摘要分析。该研究针对视觉 State Space Models(SSMs)将二维图像序列化时可能损失空间关系的问题,提出以分形扫描曲线替代线性扫描,并在 FractalMamba 中引入 Fractal Fusion Pathway(FFP),以改善空间依赖建模并兼顾效率。 核心机制是改变图像到序列的扫描路径。作者认为,现有视觉 Mamba 的线性扫描难以充分捕获复杂二维空间关系,而采用多个扫描方向又会增加复杂度;分形扫描与 FFP 因而分别承担改进序列化和高效融合的作用。摘要未说明分形曲线的具体类型、FFP 的计算方式、训练目标及推理流程,其与已有多方向扫描方案的差异仍需正文核对。 作者报告广泛实验支持 FractalMamba 的优势,但摘要没有给出任务、数据集、数据划分、对照基线、指标或计算开销,尚不能量化其收益,也不能确认性能提升是否伴随更低成本。实验协议、消融及统计信息尚未验证;复现还需确认扫描规则、FFP 实现及训练配置。 平台推测(待验证):若 EEG 表征具有明确的二维邻接结构,例如电极拓扑图或时频图,分形扫描可能用于检验序列化路径是否影响局部关系保留;可复用的是扫描与融合思路,需改造的是通道布局、时间轴和输入编码。假设的主要风险是图像邻接不等同于 EEG 功能关系,且低信噪比、跨被试差异、通道缺失和小数据训练可能削弱收益。一个可检验的小实验是在固定 EEG 表征、骨干及训练预算下,对比线性扫描与分形扫描,并在同一跨被试划分中记录任务指标和计算开销。相关 EEG 工作尚未检索确认,此迁移不属于论文已验证结果。

来源:OpenReview · State space models · openreview.net