跳到正文
arXiv · 架构与算子· Zhetong Zhang; Gayan K Kulatilleke·· 2 天前精选AI 评分76

SuPER-Mamba:基于惊异度优先级的 Mamba 扩展上下文路由

SuPER-Mamba: Surprisal Prioritization for Extended-Context Routing in Mamba

AI 导读

基于摘要分析。本文研究预训练 Mamba 模型在上下文增长时性能下降的问题,提出无需额外训练的 SuPER-Mamba,利用模型自身的 Surprisal(惊异度)信号确定长程状态路由的更新优先级。原论文面向长序列处理与 LongBench-E 评估,并非 EEG 或 BCI 研究。 机制上,该方法从下一 token 预测计算逐位置 Surprisal,通过 Local Pooling 聚合邻近位置的响应,再以所得分数优先安排 Global-Channel 更新,不依赖查询相关评分,也不进行额外训练。其核心思路是将预测中的意外程度用作状态更新的选择依据;Surprisal 的具体定义、池化窗口、Global-Channel 的实现及推理开销尚未验证。 作者报告,在三个状态空间模型上的 LongBench-E 评估中,平均分由 Base Models 的 8.06 提升至 15.69,相对增益为 94.7%;相较作者所称的现有最先进基线,提升为 13.1%。这些是该基准条件下的汇总得分,不应解释为 Accuracy 或百分点变化。作者还报告消融和按序列长度开展的分析支持该路由框架,但摘要未给出具体模型名称、任务分项、长度配置、基线身份及统计信息,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 序列模型具有可靠的下一步预测分布及可控制的状态更新接口,这一机制或可用于缓解长时序信息保留问题;可复用部分是局部聚合与按分数分配更新,需改造的是连续 EEG 的预测目标、Surprisal 定义及通道处理。假设高 Surprisal 对应有用事件,但低信噪比、伪迹、跨被试分布差异、通道变化和小数据下的预测失准均可能使其优先保留噪声。可在固定训练与数据划分下,对同一 EEG 预测模型比较原始更新、Surprisal 路由及随机路由,并检查长序列表现与伪迹敏感性。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得核对其利用模型内生 Surprisal、无需额外训练即可调整长程状态路由的机制,以及长上下文收益是否依赖具体任务和基座模型;其对 EEG 的适用性尚未验证。

来源:arXiv · 架构与算子 · arxiv.org