状态空间模型的无状态推理:传递函数方法
State-Free Inference of State-Space Models: The *Transfer Function* Approach
基于摘要分析。该研究面向深度学习中的序列建模,通过状态空间模型的对偶表示——传递函数——设计序列并行的无状态推理算法,旨在避免状态规模增大带来的显著内存与计算开销。其主要研究对象是通用序列建模,并非 EEG 或 BCI。 核心机制是对频域传递函数进行参数化,利用该表示的性质,通过一次 Fast Fourier Transform 直接计算对应卷积核的频谱。作者称,该推理算法的内存与计算成本不会随状态规模增加而显著增长;但摘要不足以确认其完整复杂度、适用条件,以及序列长度增长时的开销。参数化具体形式、训练目标和推理实现尚未验证。 作者报告,在 Long Range Arena benchmark 上,跨多个序列长度与状态规模的实验中,相比采用时域参数化的 S4 层,训练速度平均提升 35%;作者同时称,下游性能达到其他无注意力方法中的领先水平,但摘要未给出具体任务分数及比较范围。语言建模实验中,作者报告,仅引入该传递函数参数化即可相对长卷积 Hyena 基线改善 perplexity,具体数据集、数值与训练配置尚未验证。上述结果不能直接解释为在线流式推理加速或 EEG 解码收益。摘要提供了代码地址,复现仍需核对硬件、计时范围、模型配置、数据划分、消融及统计信息。 平台推测(待验证):若 EEG 任务需要对较长时间窗进行序列建模,该频域卷积机制可能降低扩大状态规模的工程成本。可复用部分是传递函数参数化与卷积核频谱计算;需适配的部分包括多通道输入、采样率、时间窗及任务读出。其原始证据来自通用序列和语言建模,不能据此确定所需 EEG 数据规模或监督条件。低信噪比、跨被试分布变化、通道差异及小数据过拟合都可能使原领域收益无法迁移。一个可检验的小实验是在固定 EEG 数据划分下,分别按被试内与跨被试协议比较该方法与 S4,保持输入窗口、训练预算和硬件一致,同时记录任务指标、训练耗时及峰值显存。已有 EEG 相关工作尚未检索确认。
值得核对其传递函数参数化如何降低大状态空间下的计算与内存开销,以及相对 S4 和 Hyena 的效率与性能收益是否在一致实验条件下成立;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net