跳到正文
OpenReview · State space models·· 2026-08-23精选AI 评分78

状态空间模型需要独立的 B 和 C 投影吗?重新审视从 S4D 到 Mamba 的 B-C 参数共享

DO STATE SPACE MODELS NEED SEPARATE B AND C PROJECTIONS? REVISITING B-C TYING FROM S4D TO MAMBA

AI 导读

基于摘要分析。该研究考察序列模型读写隐藏状态的投影是否存在参数冗余,核心方法是在 SSM 中令输入矩阵 B 与输出矩阵 C 共享参数,即 C = B,并比较不同架构的能力变化及训练后转换的可行性。研究对象是通用序列模型,而非 EEG 或 BCI 系统。 作者报告,在静态 SSM S4D 的所测深度与任务中,包括字节级语言模型,B-C 共享没有可测量的性能代价,并使 SSM 层参数减少三分之一;这不等于整个模型参数减少三分之一。在选择性 SSM Mamba 中,作者报告约 14% 的容量代价,将其归因于实数 B、C 共享后单个模态的贡献被限制为非负,而 S4D 使用复数状态。摘要未明确该“容量代价”的指标定义,不能将其解释为 Accuracy 下降。 作者引入不增加参数的固定符号掩码,报告其恢复约 86% 的差距;参数预算匹配的递归检查用于区分符号修正与参数数量的影响,摘要还报告修正模型在真实语料语言模型任务中优于同预算的不共享模型,但未给出具体分数。带有循环内部非线性的普通 RNN 未出现可复现的共享代价;摘要另引用 Kayyam et al., 2026 的注意力研究,称 Q、K、V 中两个投影共享的相对准确率代价小于 1%,不应视作本研究的 SSM 实验结果。 训练后转换方面,作者报告已训练 S4D 可精确转换为共享形式;Mamba 转换会造成损失,但可通过微调恢复。在真实语料语言模型的单随机种子实验中,仅以冻结模型作为合成教师、不使用原训练数据,作者报告可恢复超过 80% 的损失。摘要称除注明单种子的实验外采用多个随机种子;具体任务、数据划分、指标、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 序列模型采用相应 SSM,B-C 共享与符号掩码可能用于减少投影参数,但需核对状态类型、选择性机制和通道输入映射。低信噪比、跨被试差异及小数据可能改变共享约束的影响。可在固定 EEG 任务与被试划分下,比较原模型、共享模型及共享加符号掩码模型,并设置同参数预算对照,检验压缩收益是否伴随任务性能损失。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究值得阅读之处在于区分静态与选择性 SSM 的 B-C 参数共享机制,并用固定符号掩码及参数预算匹配对照检验性能损失的原因;其对 EEG 模型压缩的价值尚未验证。

来源:OpenReview · State space models · openreview.net