跳到正文
OpenReview · State space models· Lv Tang; Haoke Xiao; Peng-Tao Jiang; Hao Zhang; Jinwei Chen; Bo Li·· 2024-01-01精选AI 评分70

采用分形扫描的可扩展视觉状态空间模型

Scalable Visual State Space Model with Fractal Scanning

AI 导读

基于摘要分析。该研究针对视觉 State Space Models(SSMs)中图像 patch 序列化可能破坏空间关系的问题,提出以分形扫描曲线替代线性扫描,旨在改善空间邻近性保持并适应不同图像分辨率。 核心机制是调整二维图像 patch 到一维序列的排列方式,使 SSM 在序列建模时更有效地利用空间结构。作者认为,现有线性扫描容易产生重复模式与偏置,而分形曲线能够保持较高的空间邻近性、减少冗余并提升复杂模式建模能力。摘要未说明具体分形曲线、扫描实现、模型结构或训练配置,因此不能进一步确定其计算与存储开销。 作者报告在图像分类、检测和分割任务中取得优于对照方法的表现,但摘要未提供数据集、划分、基线名称、指标或数值,无法量化收益或比较不同协议下的结果。实验协议、消融及统计信息尚未验证;复现需取得完整的扫描规则、分辨率适配方式、训练设置及对照配置。 平台推测(待验证):该机制依赖 patch 的二维空间邻接关系,可为 EEG 通道×时间表示的序列化提供思路,但图像空间邻近不等同于电极间的功能关系。可复用的是扫描与序列排列模块,需改造的是电极拓扑映射和时间顺序约束;低信噪比、跨被试差异、通道布局变化及小数据可能削弱收益。一个可检验的小实验是在固定 EEG 表示、SSM 主干与训练配置下,对比线性扫描和分形扫描,使用一致的 Cross-subject 划分,检查任务指标及时间邻接是否受到破坏。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对分形扫描如何保留图像 patch 的空间邻近关系,以及其相对线性扫描的收益是否在不同分辨率和任务下稳定;摘要尚不足以判断收益幅度与计算代价。

来源:OpenReview · State space models · openreview.net