调节状态空间模型的频率偏置
Tuning Frequency Bias of State Space Models
基于摘要分析。本文研究状态空间模型(SSMs)学习长程依赖时的频率偏置,提出通过缩放初始化或引入基于 Sobolev 范数的滤波器来调节这一偏置。主要研究对象是通用序列模型,实证任务包括图像去噪和 Long-Range Arena(LRA),并非 EEG 或 BCI。 机制方面,作者通过分析线性时不变(LTI)系统的传递函数,指出 SSM 相较于高频成分更容易捕获低频成分。作者认为,初始化赋予模型固有的频率偏置,而常规训练不会改变该偏置。两种调节路径分别作用于初始化与训练过程:缩放初始化以调整初始偏置;使用基于 Sobolev 范数的滤波器,调整梯度对高频输入的敏感性,使训练能够改变频率偏置。摘要未提供具体缩放规则、滤波器形式或适用理论条件。 作者报告,在图像去噪任务中,两种机制均能增强、减弱甚至反转频率偏置;在 LRA 基准任务上,调节频率偏置后的平均 Accuracy 为 88.26%。摘要未说明该平均值覆盖哪些任务、各任务的数据划分、对照基线及提升幅度,因此不能据此判断相对优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列建模中的 SSM 存在类似偏置,这两种机制可能帮助检验模型是否过度依赖低频信息。但原文中的序列频率与 EEG 的生理频段如何对应,需要结合采样率、预处理和任务核对;原领域有效不等于 BCI 有效。可复用的是初始化调节与梯度滤波思路,需改造的是频率尺度及任务相关的敏感性设置。增强高频敏感性也可能放大肌电噪声,并在小数据、通道差异或跨被试条件下失效。一个可检验的小实验是在固定 EEG 数据划分与相同 SSM 基线上,对照常规初始化、缩放初始化及 Sobolev 滤波,比较任务指标和不同频段扰动下的性能变化。已有 EEG 相关工作尚未检索确认。
值得阅读其基于传递函数的频率偏置分析及两种调节机制,以核对 SSM 对不同频段的学习倾向是否可控;其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net