StableSSM:通过稳定重参数化缓解状态空间模型的记忆诅咒
StableSSM: Alleviating the Curse of Memory in State-space Models through Stable Reparameterization
基于摘要分析。本文研究状态空间模型(SSMs)的参数化如何影响长期记忆学习,并提出一类稳定重参数化方法,以缓解记忆限制及改善优化稳定性;原论文的验证对象是合成数据与语言模型,而非 EEG 或 BCI。 核心机制:作者报告,其理论分析表明,未经重参数化的 SSMs 存在类似传统 RNNs 的记忆限制:能够被稳定逼近的目标关系必须具有指数衰减的记忆。作者将这一“记忆诅咒”归因于循环权重趋近稳定性边界,并据此引入一类重参数化技术。作者报告,这类技术能够缓解上述记忆限制,且合理选择重参数化方案还可增强优化稳定性。该结论涉及稳定逼近的条件,不应扩展为所有 SSM 都无法学习长期依赖。 证据与复现:作者报告使用合成数据和语言模型验证理论发现,但摘要未给出具体数据集、模型配置、指标或对照结果。重参数化的数学形式、理论假设与适用范围,以及实验协议、消融及统计信息尚未验证;复现前需核对全文中的稳定性定义、实现方式和训练配置。 平台推测(待验证):假设 EEG 任务确实依赖较长时间跨度的信息,稳定重参数化可能为 SSM 在记忆保持与训练稳定性之间的权衡提供帮助。可复用候选是 SSM 循环参数的重参数化机制,输入编码与通道处理则需针对 EEG 改造。该推断依赖任务存在可学习的长期关系;低信噪比、小数据、通道差异及跨被试分布变化可能使更长记忆保留噪声,而非提升任务表现。一个可检验的小实验是在固定数据划分、模型容量和训练预算下,对比普通 SSM 与重参数化 SSM,考察不同序列长度下的任务指标与训练稳定性。已有 EEG 相关工作尚未检索确认。
值得阅读其对 SSM 长期记忆限制与稳定重参数化的理论分析,可为长序列建模提供机制参考,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net