跳到正文
OpenReview · State space models· Farnoush Rezaei Jafari; Grégoire Montavon; Klaus-Robert Müller; Oliver Eberle·· 2024-01-01精选AI 评分75

MambaLRP:解释选择性状态空间序列模型

MambaLRP: Explaining Selective State Space Sequence Models

AI 导读

基于摘要分析。本文研究 Mamba 选择性状态空间序列模型的可解释性,提出 MambaLRP,将 Layer-wise Relevance Propagation(LRP,逐层相关性传播)引入该架构,以改善特定组件中的解释传播,并支持模型偏置与长程能力分析。原论文主要面向通用序列模型,不是 EEG 或 BCI 方法验证。 核心机制:作者以相关性守恒公理为指导,识别 Mamba 架构中可能导致不忠实解释的组件,并在 LRP 框架内设计更稳定、可靠的相关性传播算法。摘要未给出具体组件、传播规则、守恒条件或实现细节,因此尚不能判断其对不同 Mamba 变体的适用范围及计算开销。 结果与证据:作者报告该方法具有理论依据,并在多种模型与数据集上达到领先的解释性能;但摘要未提供数据集名称、评价指标、数值、基线或评估协议,这一比较结论尚未核验。作者还报告该方法可揭示模型偏置、评估偏置的重要性,并分析此前关于 Mamba 长程能力的推测;摘要没有说明这些分析的具体发现。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列分类器采用 Mamba,MambaLRP 或可用于检验预测是否依赖任务相关时段,还是依赖伪迹或被试特征。可复用部分是面向 Mamba 组件的相关性传播规则;需改造并核对 EEG 输入编码、通道与时间维度的归因映射,以及分类输出的解释接口。该假设依赖已训练的 Mamba 模型和可控的扰动评估,原领域有效不等于 BCI 有效。低信噪比、通道相关性、跨被试差异与小样本训练可能使归因稳定但不忠实。一个可检验的小实验是在固定 Cross-subject 划分下,对同一 EEG Mamba 分类器比较 MambaLRP 与预先指定的归因基线,检查遮蔽高相关性时段是否比随机遮蔽更显著地降低目标类别输出,并测试伪迹扰动下的解释稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是其以相关性守恒为依据处理 Mamba 的解释传播问题,可用于审视模型偏置与长程依赖,但解释忠实度及 EEG 适用性仍需验证。

来源:OpenReview · State space models · openreview.net