Transformers 与状态空间模型的机制性评估

基于摘要分析。本文研究语言建模中的状态空间模型（SSMs）为何在上下文信息回忆上表现不一，并以合成任务和因果干预解释 Transformers、Based、Mamba、H3 与 Hyena 的机制差异。核心贡献是将行为表现与内部计算机制结合评估，并提出引入类语言层级结构的 Associative Treecall（ATR）任务。 在 Associative Recall（AR）实验中，作者报告仅 Transformers 和 Based 完全成功，Mamba 表现接近，H3 与 Hyena 则未能成功完成任务。因果干预分析表明，Transformers 和 Based 学会通过 induction heads 在上下文中存储键值关联；相比之下，所分析的其他 SSMs 仅在最后一个状态计算这些关联，Mamba 的成功被作者归因于其短卷积组件。摘要未给出具体准确率、成功判据或干预操作细节，不能将这些结论直接推广至全部语言任务或所有 SSMs。 ATR 是基于 PCFG induction、与 AR 类似的合成任务，旨在将类语言的层级结构引入关联回忆评估。作者报告，各架构在 ATR 中学到的机制与其在 AR 中的机制一致，成功的仍是上述三种模型。论文强调，相近的准确率并不意味着相同的计算机制，因此仅凭行为指标不足以解释模型的能力与失败原因。训练规模、数据生成与划分、模型配置、对照公平性、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的主要是“任务表现加因果干预”的评估思路，而非已经证实有效的 EEG 架构。其假设是，EEG 序列模型对远距离线索的利用也可能依赖不同的内部存储与检索机制；但原任务具有明确的符号键值关联和合成监督，EEG 则存在低信噪比、跨被试差异、通道变化及小数据限制。可复用机制干预框架，但需将输入和目标改造为可控的 EEG 时间线索。一个小规模可证伪实验是在固定被试内划分下构造已知间隔的线索关联任务，比较匹配训练条件的 Transformer 与 SSM，并干预候选状态或卷积组件，检验性能变化是否支持相应机制解释。该实验仅用于机制验证，不代表实际 BCI 解码收益；已有 EEG 相关工作尚未检索确认。