用对角线性 RNN 简化和理解状态空间模型

基于摘要分析。本文研究长程依赖建模中状态空间模型（SSMs）的结构复杂性与表达能力，提出不经过连续状态空间离散化、直接采用 Diagonal Linear RNNs（DLR）的模型，并以长序列任务分析其能力边界。 核心机制是以对角线性递归替代依赖连续系统离散化的建模路径。作者报告，DLR 在 Long Range Arena、原始语音分类等任务上的表现与此前提出的 SSMs 相当；摘要未给出具体指标、基线配置及训练成本，不能据此推断其全面优于既有方法。 作者使用 13 个合成序列到序列任务比较 SSMs（含 DLR）与注意力模型，任务涵盖序列移位及展平图像中的远距离共依赖视觉特征检测。作者报告，可由少量卷积核建模的任务接近完美表现，而需要大量卷积核、尤其操作依赖上下文的任务更困难。例如，在合成移位任务中，DLR 能完美学习将长度为 0.5M 的输入移位任意指定位置，但当移位量依赖上下文时失败。作者还报告，DLR 在输入长度分别为 8K 和 65K 的 ListOpsSubTrees、PathfinderSegmentation-256 上取得较高表现，在长度为 262K 的 PathfinderSegmentation-512 上取得鼓舞性结果；这些描述未附具体分数，作者对后一规模下注意力不可行的判断也需结合正文资源配置核对。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：DLR 的长序列机制可作为长时间窗 EEG 建模的候选骨干，但原任务的序列结构与监督不等同于 EEG。可复用其递归序列模块，需改造多通道输入映射与任务输出；低信噪比、通道变化、跨被试差异及小数据可能削弱收益，上下文依赖的神经事件也可能暴露其表达限制。一个可检验的小实验是在同一 EEG 数据集、固定跨被试划分下，对齐输入窗长与训练预算，比较 DLR、SSM 和注意力基线，并检验延长时间窗是否稳定改善任务指标。已有 EEG 相关工作尚未检索确认。