学习振荡状态空间模型中的能量耗散
Learning to Dissipate Energy in Oscillatory State-Space Models
基于摘要分析。本文研究振荡状态空间模型中遗忘机制与状态演化时间尺度耦合所造成的表示限制,提出 Damped Linear Oscillatory State-Space models(D-LinOSS),使模型能够学习在任意时间尺度上耗散潜在状态能量。研究对象是通用长序列学习模型,而非 EEG/BCI 专用算法。 机制与贡献:原方法 Linear Oscillatory State-Space models(LinOSS)由离散化的受迫谐振子层构成,通过对角递归矩阵上的快速并行扫描处理序列。摘要指出,其能量耗散即“遗忘”机制较为刚性,并与状态演化时间尺度绑定。D-LinOSS 将这一机制推广为可学习的阻尼过程;作者分析递归矩阵的谱分布,并称证明了在一种简单、灵活的参数化下,SSM 层具有稳定动力学。具体参数化、离散化公式、稳定性假设及训练目标尚未验证。 结果与证据边界:作者报告,D-LinOSS 在长程学习任务上持续优于此前 LinOSS 方法,收敛更快,且无需增加复杂度或采用多种离散化方案。摘要未提供任务名称、数据集、划分、指标、提升幅度及复杂度核算细节,实验协议、消融及统计信息尚未验证。文中最长 50k 的序列及相关领先表现描述针对此前 LinOSS,不能作为 D-LinOSS 的具体评测结果。 平台推测(待验证):假设可学习的耗散时间尺度能够适配 EEG 中短暂事件与较长上下文并存的结构,则振荡状态更新与阻尼参数化可能用于长窗 EEG 建模;输入编码、通道融合和任务输出仍需针对 EEG 改造。低信噪比可能使状态积累噪声,跨被试变化可能导致所学时间尺度失配,小数据下额外自由度也可能难以可靠估计。可在同一 EEG 数据集与固定跨被试划分下,保持输入处理、训练预算及模型规模可比,仅比较 LinOSS 与 D-LinOSS,检验任务指标和收敛速度,并观察不同窗口长度下的变化。该实验属于迁移假设,已有 EEG 相关工作尚未检索确认。
值得核对 D-LinOSS 如何将潜在状态的能量耗散与状态演化时间尺度解耦,以及稳定性参数化的适用条件;摘要支持其长序列建模价值,但尚未验证 EEG/BCI 效果。
来源:OpenReview · State space models · openreview.net