输入变异性对选择性状态空间模型中长期依赖的影响
基于摘要分析。研究考察选择性状态空间模型 S6 中,输入变异性如何影响长期依赖,并据此提出基于 Gumbel-Softmax trick 的初始化方法,在不修改模型架构的前提下改善长期信息保持。 核心机制:Mamba 通过输入依赖的 S6 机制建模时变动态,同时保留并行计算能力。作者指出,相比输入无关的 S4、S5,Mamba 在需要不受后续输入影响、持续保留先前信息的长序列任务上可能表现较弱。作者的分析表明,较大的输入方差可能使先前信息更难长期保留,因此离散化状态矩阵在初始化时应包含接近 1 的值。作者进一步指出,在标准 Mamba 初始化下,增大状态维度会使该矩阵的取值分布向接近 0 的区域偏移,却不增加接近 1 的值所占比例。所提方案针对这一分布问题调整初始化,而非增加网络结构;具体参数化、推导假设及训练设置尚未验证。 结果与证据边界:作者报告,在合成任务和 LRA 任务上验证了推导出的初始化性质;新初始化改善了需要跨越长序列、独立于后续输入保留先前信息的任务表现,同时在上下文依赖任务上保持相当表现。摘要未提供具体任务配置、数据划分、对照设置或指标数值,实验协议、消融及统计信息尚未验证,不能据此认定其在所有长序列任务上均优于标准 Mamba。 平台推测(待验证):迁移假设是,EEG 中随时间变化的输入方差可能影响选择性状态更新对早期信息的保留,但原领域结果不等于 BCI 效果。可复用初始化策略,需适配 EEG 输入编码、归一化和序列长度;低信噪比、通道尺度差异及跨被试变化可能改变机制表现,增强记忆也可能保留无关噪声。可在固定被试内划分、相同 Mamba 架构与训练配置下,对比标准初始化和所提初始化,并改变早期任务相关片段之后的噪声强度,检验性能退化与状态保持是否同步变化。已有 EEG 相关工作尚未检索确认。
阅读价值:该研究将 Mamba 的长期信息保持问题具体关联到输入方差与离散化状态矩阵的初始化分布,并提出无需修改架构的初始化方案,值得核对其理论适用条件及长序列任务上的复现效果。