一个回路,而非唯一回路:Mamba-2 状态汇聚的非唯一因果定位
A Circuit, Not The Circuit: Non-Unique Causal Localisation of the Mamba-2 State Sink
基于摘要分析。本文研究 Mamba 中的 state sink(状态汇聚)现象,检验机制可解释性中将探针高激活单元直接视为执行计算的回路这一推断。作者报告,Mamba-2 中探针识别的头集合具有行为上的重要性,但不能唯一确定因果计算回路。 state sink 是选择性状态空间模型中与 Transformer attention sink 对应的现象:输入依赖的 Δ 门在 BOS、换行符等边界 token 上呈现不成比例的激活。作者报告,在 Mamba-1 的通道粒度上,探针识别的单元承载相应因果效应;但在 Mamba-2 的头粒度上,表征标签与因果位置之间出现三类分离。 首先,因果集合不唯一:另一组与专门响应头几乎不重叠的高激活头,其消融效应可匹配或超过原集合。其次,表征相似不等于功能相同:同时响应 BOS 和换行符的 dual heads 占全部头的四分之一至超过三分之一,却未复现专门响应头的因果作用模式。最后,效应依赖干预位置:作者报告,扰动探针所读取的输入依赖 Δ,损失变化最多为 0.16 nats;抑制同一批头的输出,损失变化则为 1.5–7.3 nats。具体检查点、扰动幅度与损失评估设置尚未验证。 在行为评估中,作者报告,在两个旗舰检查点、上下文长度为 1024 的 RULER-style needle-retrieval 探针上,抑制这些头的输出使检索成功次数从 30/30 降至 0/30。这支持相关头集合对该任务具有行为重要性,但不等于探针唯一定位了实现该行为的回路。全文中的检查点身份、替代头集合构造、干预控制、消融及统计信息尚未验证;摘要未提供 EEG 或 BCI 实验,不能据此推断其对神经信号模型的有效性。
值得阅读之处是通过不同单元集合与干预位置,检验激活探针能否唯一定位 Mamba-2 的因果计算回路,为区分表征关联与行为因果作用提供具体案例。
来源:OpenReview · State space models · openreview.net