跳到正文
OpenReview · State space models· Qinshuo Liu; Weiqin Zhao; Wei Huang; Yanwen Fang; Lequan Yu; Guodong Li·· 2025-01-01精选AI 评分71

从层到状态:状态空间模型视角下的深度神经网络层间动态

From Layers to States: A State Space Model Perspective to Deep Neural Network Layer Dynamics

AI 导读

基于摘要分析。本文研究深度神经网络如何复用前序层的信息以增强当前层的特征表示,将各层输出视为连续过程中的状态,并提出 Selective State Space Model Layer Aggregation(S6LA),利用 Selective State Space Models(S6)设计层聚合模块。原论文主要面向图像分类与目标检测,而非 EEG 或 BCI。 核心机制是将层间信息传递与聚合纳入状态空间模型(SSM)框架,其建模对象是网络深度方向的层输出,而不只是输入的时间序列。作者认为,既有离散状态视角在网络层数增加时存在适用性问题,并借鉴 S6 的长序列建模能力,将传统 CNN 或 transformer 的层表示置于序列框架中聚合。摘要未提供连续状态的具体定义、离散化方式、选择机制、特征维度对齐方法或训练目标,这些实现细节尚未验证。 作者报告,S6LA 在图像分类与目标检测实验中带来明显改善,但摘要未列出数据集、骨干网络、划分协议、对照方法、指标及数值,因此无法判断收益大小、计算开销或不同深度下的表现。实验协议、消融及统计信息尚未验证;复现还需核对模块插入位置、聚合范围、训练配置及实现可用性。 平台推测(待验证):若 EEG 编码器的多层表示具有互补信息,S6LA 可能用于聚合不同深度的特征,探索深层特征复用是否有助于解码。此处可复用的是沿网络层方向的状态聚合思想,需改造层间形状与通道对齐接口;它不能直接被视为 EEG 时间建模方案。低信噪比、跨被试分布差异和小数据可能使聚合模块累积噪声或过拟合,浅层网络也未必受益。可在固定 EEG 数据划分与训练预算下,比较同一编码器的原始版本、简单层聚合版本和 S6LA 版本,并分别检验被试内与跨被试表现及额外计算开销。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得阅读的具体原因是其将 SSM 的建模轴从输入序列转向网络层间动态,为 CNN 与 transformer 的特征聚合提供可核对的方法思路,但摘要中的视觉任务收益及其 EEG 迁移价值仍需验证。

来源:OpenReview · State space models · openreview.net