利用谱卷积状态空间模型学习长程空间依赖
Learning long-range spatial dependencies with spectral convolutional state space models
基于摘要分析。本文研究视觉模型如何在适应大规模训练的同时,引入与生物视觉横向递归连接相对应的计算机制;提出 spectral convolutional state space models(SCSSMs),通过将卷积递归提升至 Fourier 域,建模长程空间依赖。研究对象是视觉感知与视觉推理,并非 EEG 解码或 BCI。 机制上,SCSSMs 将递归横向连接引入视觉架构,试图缓解以纯前馈计算为主的深度网络与生物视觉递归处理之间的差异。摘要提供了频域实现这一核心路径,但状态更新形式、频谱参数化、递归计算方式、训练目标及推理流程尚未验证,不能据此断定具体计算复杂度或稳定性。 作者报告,单个 SCSSM 层在其评估的视觉推理挑战中达到人类水平,而作为对照的 transformers 未能达到相同表现;作者还报告,该架构可扩展至大规模视觉基准,并在所用评估条件下匹配 transformer 的训练速度,同时使用更少参数、取得更好性能。摘要未给出任务名称、数据集、指标、模型规模或硬件配置,相关实验协议、消融及统计信息尚未验证,这些结论不能外推至所有视觉任务。 平台推测(待验证):若 EEG 任务依赖跨通道空间交互,可探索将频域卷积递归用于电极空间表示;可复用的是空间依赖建模思路,需改造的是不规则电极布局及空间表示。该假设依赖可定义的空间邻接与任务监督,低信噪比、跨被试差异、通道缺失和小数据可能削弱其效果。一个小规模可证伪实验是在同一 EEG 数据划分下,对比加入该机制前后的匹配基线,同时记录任务指标与训练耗时;这只是迁移设想,不是论文结果。已有 EEG 相关工作尚未检索确认。
值得关注其将卷积递归提升至 Fourier 域以兼顾空间长程依赖与训练效率的机制,但摘要中的视觉推理、速度和参数优势仍需结合具体任务及对照协议核验。
来源:OpenReview · State space models · openreview.net