跳到正文
OpenReview · State space models· Yehjin Shin; Seojin Kim; Noseong Park·· 2026-01-26精选AI 评分74

图信号处理与 Mamba2 的结合:通过 Delta 调制构建自适应滤波器组

Graph Signal Processing Meets Mamba2: Adaptive Filter Bank via Delta Modulation

AI 导读

基于摘要分析。该研究面向语言序列建模,针对 Mamba2 多头递推彼此独立、缺少结构化利用与分析的问题,提出 Hierarchical Adaptive filter bank for Efficient SSMs(HADES)。其核心贡献是借助 Graph Signal Processing(GSP),将 Mamba2 重新解释为线图上的自适应滤波器组,以分层滤波结构连接状态空间模型的效率与可解释性。 机制上,HADES 通过对参数 Δ 施加结构化偏置,引入承担全局低通行为的共享滤波器,以及承担局部高通行为的专家滤波器。这里的低通与高通是作者在序列滤波框架中的表述,不能直接等同于 EEG 的生理频段划分。摘要未提供偏置的具体形式、滤波响应推导、训练目标或各模块的参数配置,相关机制需由全文核对。 作者报告,在语言建模、commonsense reasoning 和 long-context retrieval 的多项基准上,HADES 与包括 Mamba2 在内的基线取得相近性能,同时仅使用摘要所称原模型参数量的 58.9%。摘要未列出具体基准名称、性能指标及参数量对应的模型配置,因此尚不能判断各任务上的性能差异,也不能将参数减少直接视为推理速度或内存收益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 被表示为沿时间排列的多通道序列,该分层滤波机制可能用于探索全局缓变成分与局部快速变化的联合建模;可复用的是 Δ 调制及共享/专家滤波结构,需要改造的是多通道输入表示与任务输出模块。原研究的线图解释不自动提供电极空间拓扑建模能力,语言任务中的有效性也不代表 EEG 有效性。低信噪比可能使局部高通分支放大伪迹,跨被试差异和小数据训练也可能削弱滤波结构的稳定性。一个可检验的小实验是在固定 EEG 任务及跨被试划分下,对照 HADES 与 Mamba2,分别核对参数匹配时的任务性能和相近性能时的参数开销,并检验移除 Δ 结构化偏置后的变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 HADES 如何通过 Δ 的结构化偏置组织 Mamba2 的多头递推,以及参数压缩与任务性能之间的权衡;其对 EEG 时序建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net