用于状态空间模型的差分注意力

基于摘要分析。该研究面向语言序列建模，探索如何将 Differential Transformer 通过注意力图相减增强信号选择性的思路引入状态空间模型（SSM），同时避免并行 Mamba 分支带来的计算开销。作者从 structured state space duality（SSD）推导广义差分计算，将其表述为状态空间读出操作，并在 Mamba-2 与 Mamba-3 中分别实现 Diff-Mamba-2 和 Diff-Mamba-3。 核心机制：与使用并行、缩减版 Mamba 模块的既有方案不同，作者提出差分计算可直接作用于状态空间读出，支持精确的单遍计算形式及高效的单差分电路实现，无需修改底层 SSM 内核。摘要尚不足以核对具体读出公式、差分系数的学习方式、两种实现的等价条件，以及训练损失和推理开销。 结果与复现：作者报告，在语言建模基准上，相对各自对应基线，模型表现持续改善，平均指标提升最高达 1.5 点，同时保持现代 SSM 的计算效率；但摘要未注明指标名称、基准组成、模型规模和训练预算，不能将该数值解释为 Accuracy 或百分点。作者还报告真实世界长上下文基准上的检索改善，以及可解释性分析中更鲜明的 token 级交互模式。作者称代码已公开，具体获取方式、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：迁移假设是，状态空间读出的差分操作可能帮助 EEG 序列模型抑制共享背景成分，但语言 token 上的有效性不等于 EEG/BCI 有效性。可复用部分是 SSM 读出差分机制；需改造连续信号输入、通道表示与任务读出。原研究依赖语言序列建模数据，具体监督与规模未明确；EEG 的低信噪比、跨被试差异、通道变化和小数据条件可能使差分误消弱任务信号。一个可证伪的小实验是在固定数据划分、训练预算和参数规模条件下，对比 Mamba-2 与 Diff-Mamba-2 的 EEG 分类表现及噪声扰动敏感性，同时测量计算开销。相关 EEG 工作尚未检索确认。