跳到正文
OpenReview · State space models· Ningyuan Teresa Huang; Miguel Sarabia; Abhinav Moudgil; Pau Rodriguez; Luca Zappella; Federico Danieli·· 2025-05-01精选AI 评分81

理解 Mamba 的输入选择性:对函数逼近能力、记忆保持与关联召回容量的影响

Understanding Input Selectivity in Mamba: Impact on Approximation Power, Memorization, and Associative Recall Capacity

AI 导读

基于摘要分析。本文研究 Mamba 的输入选择性如何影响函数逼近、长期记忆保持和关联召回,并探讨其与架构中卷积、门控等操作的关系。核心贡献是通过理论构造和具体任务上的实证,为 Mamba 的能力提供机制解释,而非提出 EEG 或 BCI 方法。 作者报告,Mamba 的 S6 层能够表示到 Haar wavelets 上的投影,相较其前身 Diagonal SSM(S4D),在逼近不连续函数方面具有优势;同时,S6 层可以动态抵消记忆衰减。针对 MQAR 关联召回任务,作者给出了采用 Mamba、Mamba-2 和 S4D 等不同 mixer 的 Mamba 架构解析解,并报告以具体任务上的实证结果验证理论构造的紧致性。摘要未提供具体分数、任务配置或比较协议,因此尚不能判断这些结论在何种模型规模、序列长度及训练条件下成立;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务确实依赖稀疏关键时间片段及较长时间间隔的信息保持,输入依赖的状态更新可能具有可检验价值,但原文关于不连续函数和关联召回的结论不等于 EEG 解码有效性。可复用的是输入选择性与记忆保持的分析视角;需改造的是 EEG 输入表示及任务输出。低信噪比可能使选择机制追踪伪迹,跨被试、通道配置变化和小样本条件也可能削弱效果。一个小规模检验是假设:在相同 EEG 表示、训练预算及固定被试内划分下,比较具备与不具备输入选择性的匹配模型,逐步延长关键片段间隔,观察性能下降是否减缓。相关 EEG 工作尚未检索确认。

阅读价值

该研究以 Haar wavelets 表示、记忆衰减补偿和 MQAR 解析构造解释 Mamba 输入选择性的作用,值得用于理解序列模型的能力边界,但其对 EEG 建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net