高阶与块对角线性递归网络中的状态混合改进
Improved State Mixing in Higher-order and Block Diagonal Linear Recurrent Networks
基于摘要分析。本文研究线性递归网络(LRNNs)与线性状态空间模型(SSMs)中,对角状态转移限制表达能力的问题,提出 Higher-order Linear Recurrent Units(H-LRU)和 Block-Diagonal LRUs(BD-LRU),通过更丰富的跨时间与跨通道状态混合,探索计算效率与表达能力之间的折中。原论文主要面向合成序列建模与语言建模,并非 EEG 或 BCI 验证。 机制上,H-LRU 将递归推广至任意阶,使多个历史状态参与混合;BD-LRU 则在块内进行稠密通道混合。作者引入选择性门控归一化,以支持更大的窗口与块大小并稳定训练,同时采用 parallel-scan 实现。摘要未给出具体递归方程、归一化形式、训练目标或复杂度细节,相关实现尚需正文核对。 作者报告,在合成序列建模与语言建模实验中,更丰富的结构化状态混合显著改善表现;在适中的 H-LRU 阶数和 BD-LRU 块大小下,吞吐可与对角 LRNNs 保持竞争力。摘要未提供数据集、划分、指标、数值及具体对照配置,因此不能量化性能收益或计算代价,也不能据此断言普遍优于稠密或非线性模型。实验协议、消融及统计信息尚未验证,代码与复现条件亦尚未验证。 平台推测(待验证):若 EEG 任务的瓶颈涉及较长时间依赖或潜在特征之间的交互,H-LRU 的多历史状态混合与 BD-LRU 的块内混合可能提供可复用模块。这一假设依赖于 EEG 时序输入、通道到潜在状态的映射及足够的训练监督;潜在状态通道不能直接等同于 EEG 电极。迁移时需调整输入编码、状态分块、窗口与输出头,低信噪比、跨被试差异、通道变化和小样本可能使增强的混合放大噪声或过拟合。可在同一 EEG 数据集的固定跨被试划分下,保持输入编码、训练预算与评估协议一致,对照对角 LRU、H-LRU 和 BD-LRU,同时记录任务指标、吞吐及显存,检验收益是否来自混合结构而非仅增加容量。已有 EEG 相关工作尚未检索确认。
值得核对其结构化状态混合、选择性门控归一化与 parallel-scan 实现能否在增强线性递归表达能力的同时保留吞吐优势,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net