HOPE:长记忆状态空间模型的稳健参数化
HOPE for a Robust Parameterization of Long-memory State Space Models
基于摘要分析。本文研究基于线性时不变(LTI)系统的状态空间模型(SSM)为何依赖专门设计的初始化,以及状态矩阵在对数尺度上以很小学习率训练的做法,并提出基于 Hankel operator 理论的参数化方案 HOPE,旨在改善初始化与训练稳定性。 机制上,HOPE 利用 Hankel operators 中的 Markov parameters 对 LTI 系统进行参数化,并通过对 LTI 系统传递函数进行非均匀采样实现高效计算。作者报告,该方案相较于常规 SSM 使用更少参数,并改善训练稳定性。摘要未给出具体参数化公式、采样策略、损失形式或参数量,相关实现条件尚未验证。 实验方面,作者报告,在 Long-Range Arena(LRA)任务上,基于 Hankel operators 参数化的 SSM 相较于采用 HiPPO 初始化的 S4、S4D 表现更好;摘要未提供具体任务分项、指标、数据划分及数值。作者还报告,该参数化具有固定时间窗内不衰减的记忆,并以加入填充噪声的 sequential CIFAR-10 任务提供经验支持。这不等同于无限时长记忆,也不能直接外推为生理信号中的抗噪能力。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其迁移假设是,若 EEG 任务依赖较长时间跨度的有效信息,HOPE 的记忆参数化可能有助于降低长序列训练对初始化的敏感性。原方法依赖时序输入与 LTI 动态建模;迁移时可复用参数化及传递函数采样机制,但需适配多通道 EEG 输入与任务输出。低信噪比可能使长记忆同时保留无关噪声,跨被试差异、通道变化和小数据条件也可能削弱收益。可在一个固定的 EEG 任务与数据划分下,以相同输入处理和训练预算比较 HOPE 与 S4D,并改变有效片段后的噪声填充长度,检验任务指标与训练稳定性是否更稳健。已有 EEG 相关工作尚未检索确认。
值得阅读的是 HOPE 将长记忆 SSM 的初始化与训练稳定性问题统一到 Hankel operator 参数化视角;作者报告的固定时间窗内不衰减记忆,为评估噪声背景下的长时依赖提供了具体切入点,但 EEG 适用性尚未验证。
来源:OpenReview · State space models · openreview.net