跳到正文
OpenReview · State space models· Annan Yu; Michael W. Mahoney; N. Benjamin Erichson·· 2024-01-01精选AI 评分79

长记忆状态空间模型:借助 HOPE 避免 HiPPO 初始化

There is HOPE to Avoid HiPPOs for Long-memory State Space Models

AI 导读

基于摘要分析。本文研究用于长序列学习的线性时不变(LTI)状态空间模型(SSM),提出基于 Hankel 算子理论的参数化方案 HOPE,试图统一处理系统初始化与训练,并获得非衰减记忆能力。 核心机制:作者指出,现有相关 SSM 通常依赖专门设计的系统矩阵初始化、对数尺度上的小学习率训练,以及为保证 LTI 系统渐近稳定而采用的指数衰减记忆。HOPE 使用 Hankel 算子中的 Markov 参数来参数化 LTI 系统,并通过对其传递函数进行非均匀采样实现计算。作者报告,该方案允许随机初始化、改善训练稳定性,且相较于常规 SSM 所需参数更少。摘要未给出参数化公式、采样策略、损失函数及复杂度细节;非衰减记忆与系统稳定性的具体理论条件尚未验证。 实验依据:作者报告,在 Long-Range Arena(LRA)任务上,Hankel 算子参数化的 SSM 优于采用 HiPPO 初始化的 S4、S4D 等模型;另以带填充噪声的 sequential CIFAR-10 任务检验长记忆能力。摘要未提供具体分数、参数规模、数据划分或训练预算,实验协议、消融及统计信息尚未验证,不能据此判断各项机制的独立贡献。 平台推测(待验证):假设 EEG 任务确实依赖跨较长时间间隔的信息,HOPE 的记忆参数化可能有助于缓解远距离信息衰减,但原论文研究对象是通用长序列建模,并非 EEG/BCI。可复用部分是序列主干的参数化与传递函数计算;需改造输入编码、通道处理及任务输出。低信噪比下非衰减记忆可能保留无关噪声,跨被试与通道变化也可能削弱收益,小数据则可能不足以学习有效的长程结构。可先在固定被试内划分的 EEG 任务上,以匹配参数量和训练预算的 HOPE、S4D 对照,逐步增加无关时间片段,检验性能随间隔增长的变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其以 Hankel 算子和 Markov 参数重构长记忆 SSM 参数化的机制,作者报告其可改善初始化、训练稳定性及长序列任务表现,但 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net