跳到正文
OpenReview · State space models·· 26 天前精选AI 评分77

超越顺序扫描:以 Neighborhood State Interaction 重新思考视觉状态传播

Beyond Sequential Scanning: Rethinking Visual State Propagation with Neighborhood State Interaction

AI 导读

基于摘要分析。本文研究视觉状态空间模型(VSSMs)中顺序扫描造成的空间邻近位置间接交互问题,提出 Neighborhood State Interaction(NSI),通过二维特征图上同步的邻域状态交互替代预定义扫描路径,并经多步传播逐渐扩展上下文。主要研究对象是图像恢复,而非 EEG 或 BCI。 机制上,NSI 在每次更新时允许相邻状态直接交互。为提高多步传播的效率与稳定性,方法生成输入条件化的交互核,并在传播步骤间共享;利用状态依赖的保留机制自适应控制累积信息,再通过增量读出组合不同传播阶段的表征。与顺序扫描相比,其关键变化在于状态传播的空间组织方式;交互核形式、更新方程、传播步数、训练损失与实现细节尚未验证。 作者报告,在图像恢复任务中,相对 SS2D,GoPro 去模糊的 PSNR 提升 0.50 dB,O-HAZE 与 Haze4K 去雾分别提升 1.15 dB 和 1.37 dB;去模糊与去雾模型的 MACs 分别降低 25.1% 和 30.2%。摘要未提供数据划分、绝对 PSNR、模型配置及计算量测量条件,实验协议、消融及统计信息尚未验证,不能据此判断各项改进的独立贡献。 平台推测(待验证):若 EEG 通道可按电极位置构成有意义的邻域,直接邻域交互可能用于检验扫描顺序是否限制空间信息交换。原方法依赖二维特征图;迁移假设需要将交互核与状态更新改造为适配不规则电极布局、缺失通道及时间维度的模块,不能直接把图像邻域等同于脑功能连接。低信噪比可能使多步传播扩散噪声,跨被试布局与信号差异可能改变邻域关系,小数据也可能限制输入条件化核的学习。可先在固定 EEG 数据划分下,以相同时间编码器比较扫描式空间模块与电极邻域 NSI,并控制参数量及计算量,检验其在跨被试评估中是否稳定改善任务指标;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 NSI 如何以直接邻域交互替代扫描路径,并在图像恢复中兼顾 PSNR 与计算量;其对 EEG 空间建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net