跳到正文

算法、任务与模态

Mamba 最新动态

Mamba 研究索引;按可核对的标签归档,不以热度评价质量。

35 条精选近 30 天 5 条共收录 46 条

更新

精选归档 · 第 2 页

9月27日周五第 21–35 条
  1. OpenReview · State space models75

    MatMamba:一种 Matryoshka 状态空间模型

    基于摘要分析。MatMamba 研究如何让单个状态空间模型适应不同推理计算预算,将 Matryoshka 式学习与 Mamba2 结合,通过修改模型块以包含嵌套维度,实现不同规模子模型的联合训练与自适应推理。 核心机制是从一个训练完成的大模型中提取多个较小的嵌套子模型,而非为每种部署规模分别训练模型。摘要将其与 Matryoshka Representation Learning 及其在 Transformer 骨干上的应用 MatFormer 联系起来;具体维度嵌套方式、训练目标、子模型采样策略和推理规模选择规则尚未验证。 作者报告,在参数规模为 35M 至 1.4B 的语言与图像模型实验中,嵌套小模型能够保持或超过从头训练的小模型基线的性能。作者还报告,ImageNet 和 FineWeb 上的结果显示 MatMamba 具有与 Transformers 相近的扩展表现,并具备更高效的推理特性。摘要未提供具体指标、计算预算、硬件、数据划分或延迟数值,因此不能量化性能收益或推理加速;实验协议、消融及统计信息尚未验证。“免费”获得子模型应理解为不必逐个从头训练,不代表联合训练或部署没有额外开销。 平台推测(待验证):若 EEG 时序任务需要在不同设备计算预算间部署,嵌套子模型可能提供可复用的弹性容量机制。该假设依赖共享模型在不同容量下仍能学习有效时序表征;原摘要的语言与图像实验不能直接证明 EEG 效果。可复用部分是 Mamba2 中的嵌套维度与联合训练思路,EEG 输入编码、通道组织及任务输出模块则需改造。低信噪比、跨被试差异、通道变化和小数据条件可能使较小子模型丢失有效信息。一个可检验的小实验是在固定 EEG 任务及 Cross-subject 划分下,比较联合训练的嵌套子模型与相应规模的独立训练基线,同时记录任务指标、参数量和同一硬件上的推理延迟。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其将 Matryoshka 式嵌套维度引入 Mamba2、联合训练多种规模子模型的机制,并核对弹性推理的性能—计算开销权衡;摘要尚不足以验证实际加速幅度或 EEG 适用性。

9月26日周四
  1. OpenReview · State space models73

    DyGMamba:利用状态空间模型高效建模连续时间动态图的长期时间依赖

    DyGMamba 面向连续时间动态图(CTDG)的表示学习,尝试同时解决长节点交互历史的计算开销与关键时间信息筛选问题,核心贡献是将 Mamba 状态空间模型(SSM)用于节点历史编码和时间模式驱动的信息选择。以下基于摘要分析,未取得论文全文。 机制上,节点级 SSM 首先编码历史节点交互序列;时间级 SSM 随后提取历史图中的时间模式,其输出用于动态选择交互历史中的关键信息。摘要描述的设计重点不只是扩大历史窗口,而是让时间模式参与信息筛选。具体输入表示、两个 SSM 的连接方式、选择操作、损失函数及训练流程尚未验证。 作者在动态链接预测任务上进行评估,并报告 DyGMamba 在多数情形下达到当时最优表现,同时保持较高的计算资源效率,使有限计算预算下的长时间依赖建模成为可能。摘要未提供数据集、划分协议、基线、指标数值或资源测量口径,因此不能量化其性能与效率优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将 EEG 通道或脑区表示为节点、将带时间戳的连接变化表示为交互,该机制可能用于筛选长时程连接历史中的任务相关信息。此迁移假设依赖于 EEG 能否形成有意义的交互事件,而不是直接将原始波形视为动态图。可复用部分是历史序列编码和时间模式驱动的选择模块;需改造的是节点定义、连接估计、事件构造与任务输出。低信噪比可能产生伪交互,跨被试及通道差异可能破坏事件语义,小数据也可能使选择机制过拟合。一个可证伪的小实验是在固定 EEG 数据与跨被试划分下,以相同连接构造和历史窗口比较完整机制与不使用时间级选择的对照,同时记录任务指标及资源开销。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其利用节点级与时间级 SSM 编码长交互历史并动态选择关键信息的机制,但动态图预测收益及其向 EEG 时变连接建模迁移的有效性仍需核对实验与验证。

  2. OpenReview · State space models72

    Decision Mamba:用于离线强化学习的多粒度状态空间模型与自演化正则化

    基于摘要分析。该研究针对离线强化学习中的分布外状态与动作处理问题,提出 Decision Mamba(DM),将多粒度状态空间模型(SSM)与自演化策略学习结合,以利用轨迹历史、建模步内变量关系,并缓解对带噪声次优轨迹的过拟合。 机制上,DM 利用 Mamba 的历史隐藏状态提取跨时间步信息;在原有粗粒度 SSM 中集成细粒度 SSM 模块,捕捉 return-to-go(RTG,剩余累计回报)、状态与动作三元组的步内关系。自演化策略采用渐进正则化,利用策略自身过去的知识修正次优动作。摘要未给出具体损失、动作修正规则、正则化调度或训练与推理流程,这些细节尚未验证。 作者报告,DM 在多种任务上显著优于其他基线,但摘要未提供任务与数据集名称、划分、指标、数值或对照配置,因而不能据此量化收益,也不能区分收益来自多粒度建模还是自演化正则化。实验协议、消融及统计信息尚未验证;分布外鲁棒性与噪声示范鲁棒性是否分别得到直接评估,也需核对全文。 平台推测(待验证):其跨步历史与步内关系的分层建模机制,可作为序列式 BCI 决策的候选思路,但依赖具有状态、动作及回报信息的轨迹,不能直接等同于 EEG 分类方法。可复用的是多粒度 SSM 思路;需改造 EEG 状态编码、动作定义与回报构造。低信噪比、跨被试差异、通道变化和小数据可能使历史状态不稳定,自演化策略也可能强化既有动作偏差。一个可检验的小实验是在具有明确动作与回报记录的固定 BCI 离线轨迹上,按被试隔离评估,比较粗粒度 SSM、加入细粒度模块及完整 DM,并在受控动作噪声下检查策略收益与稳定性。该迁移是假设,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 Decision Mamba 如何联合建模跨时间步历史与步内 RTG-state-action 关系,以及渐进正则化能否缓解噪声示范中的策略过拟合;摘要尚不足以验证其性能优势与各模块贡献。

  3. OpenReview · State space models77

    MambaTree:树拓扑就是状态空间模型所需的一切

    基于摘要分析。MambaTree 针对状态空间模型受序列几何结构约束、长程依赖建模受限的问题,提出根据空间关系与输入特征动态生成树拓扑,并沿该结构传播特征,以突破原有序列传播路径的限制。 核心机制是将特征传播组织从序列改为动态树结构,并引入线性复杂度的动态规划算法来增强长程交互。摘要未给出树构建规则、状态更新方程、训练目标或复杂度的具体计量范围,因此尚不能确定树生成与传播的整体开销,以及其相对序列式状态空间模型的实现条件。 作者报告,在图像分类、目标检测和分割任务中,MambaTree 显著优于现有结构化状态空间模型;在大语言模型微调中,也以较小训练成本在多个文本任务上取得一致提升。这些结论对应摘要所述任务,但具体数据集、指标、划分、对照基线与成本口径未提供,实验协议、消融及统计信息尚未验证,不宜据此量化性能优势或推断其已具备 EEG 多模态建模能力。 平台推测(待验证):若将 EEG 的通道空间关系与片段特征用于动态树构建,该机制可能为跨通道及长时间跨度交互提供不同于固定序列的传播路径。可考虑复用树上动态规划思想,但输入表征、通道空间编码和树生成约束需要针对 EEG 改造;其对数据规模和监督方式的依赖仍需核对。低信噪比可能使树结构不稳定,跨被试差异、通道布局变化及小数据条件也可能削弱泛化。一个可证伪的小实验是在固定 Cross-subject 划分下,以相同预处理、训练预算和状态空间骨干,对比原序列传播、固定树与动态树,联合检查任务指标、运行成本和树结构稳定性。该实验仅是迁移假设,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对其动态树拓扑与线性复杂度特征传播如何缓解序列结构对长程依赖的限制,但计算成本优势及向 EEG 的迁移价值尚未验证。

  4. OpenReview · State space models74

    Multi-Scale VMamba:层级内嵌层级的视觉状态空间模型

    基于摘要分析。研究针对视觉 State Space Models(SSMs)中多扫描策略带来的冗余,提出 Multi-Scale Vision Mamba(MSVMamba),通过多尺度二维扫描与通道混合模块改善效率和性能之间的权衡。 核心机制:作者分析认为,长程依赖是多扫描策略有效的重要原因。MSVMamba 在原始及下采样特征图上进行多尺度二维扫描,旨在保留长程依赖学习能力并降低计算成本;同时引入 Convolutional Feed-Forward Network(ConvFFN),补充通道混合。摘要未给出具体扫描路径、下采样配置、模块结构、损失或参数量,相关细节尚未验证。 作者报告:MSVMamba-Tiny 在 ImageNet 上取得 83.0% top-1 Accuracy;在 COCO 上,采用 Mask R-CNN 框架及 1x 训练日程,取得 46.9% box mAP 和 42.5% instance mAP;在 ADE20K 上采用单尺度测试,取得 47.9% mIoU。摘要未提供具体对照结果或实测计算开销,不能据此确认相对优势幅度。实验协议、消融及统计信息尚未验证。材料提供了代码仓库,但实现与复现条件尚未核对。 平台推测(待验证):迁移假设是,多尺度扫描可能用于 EEG 的长短时程依赖建模,缓解长序列计算负担,但原方法依赖视觉二维特征图,不能直接等同于 EEG 通道与时间结构。可考虑复用 SSM 和多尺度处理思路,改造扫描顺序、下采样方式及通道混合模块。风险包括下采样丢失短暂 ERP 或高频信息、空间邻接不匹配,以及跨被试、通道变化和小数据条件下泛化不足。一个可证伪的小实验是在固定 EEG 任务与跨被试划分下,对比单尺度与多尺度扫描,控制参数量和训练预算,同时记录任务指标、延迟及短时事件识别表现。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对其多尺度扫描能否在保留长程依赖建模能力的同时降低计算开销,以及 ConvFFN 的独立贡献;摘要提供了多任务结果,但效率收益与消融证据尚未验证。

  5. OpenReview · State space models79

    VMamba:视觉状态空间模型

    基于摘要分析。该研究针对计算机视觉网络的计算效率问题,将状态空间语言模型 Mamba 改造为视觉骨干 VMamba,提出通过二维扫描聚合上下文信息的架构,并以线性时间复杂度为设计特征。 核心机制是由 Visual State-Space(VSS)块构成网络,并在其中使用 2D Selective Scan(SS2D)模块。SS2D 沿四条扫描路径遍历二维数据,以衔接一维 selective scan 的有序处理方式与二维视觉数据的非序列结构,从不同方向收集上下文信息。作者据此构建一组 VMamba 架构,并通过架构及实现层面的优化加速;具体扫描顺序、网络配置、训练损失及优化细节尚未验证。 作者报告,VMamba 在多种视觉感知任务中表现良好,相较所比较的基准模型具有更好的输入规模扩展效率。摘要未提供具体任务、数据集、指标数值、对照模型或计算成本测量条件,因此尚不能核对性能与效率之间的权衡。实验协议、消融及统计信息尚未验证。摘要提供了源码仓库,但代码与论文实验的一致性、运行环境及复现成本仍需核对。 平台推测(待验证):迁移假设是,将 SS2D 用于 EEG 的通道×时间表示,可能为长时间窗与跨通道上下文建模提供一种计算效率较高的路径;这不是已验证的 EEG/BCI 结果。原方法依赖具有二维组织结构的视觉输入,而 EEG 通道顺序不天然等同于规则图像网格,需改造通道排列、空间编码及输入适配模块。低信噪比、跨被试分布变化、通道配置差异和小数据训练可能使视觉扫描机制失效。可检验的小实验是在同一 EEG 数据集、固定 Cross-subject 划分及训练预算下,对比二维扫描与一维时间扫描,并扰动通道排列,检验收益是否依赖人为顺序,同时测量不同时间窗长度下的运行成本。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其用四条扫描路径将一维 selective scan 适配二维视觉数据的机制及输入规模扩展效率评估,但该机制对 EEG 的适用性尚未验证。

9月18日周三
  1. OpenReview · State space models78

    状态空间模型的参数高效微调

    基于摘要分析。本文研究 Mamba 等深度状态空间模型(SSMs)的参数高效微调(PEFT),重点比较现有方法的适用性及微调模块的选择,并提出 LoRA with Selective Dimension tuning(SDLoRA),将线性投影矩阵上的 LoRA 与 SSM 模块中部分通道和状态的选择性更新结合。 作者报告,在 SSM 模型上对四种基本 PEFT 方法进行经验评估后,prompt-based 方法(如 prefix-tuning)效果不佳,理论分析也支持这一观察;相比之下,LoRA 仍然有效。针对 LoRA 的应用位置,作者报告,理论与实验均支持仅将 LoRA 应用于线性投影矩阵、而不修改 SSM 模块的配置效果最好,直接以 LoRA 微调 SSM 模块则效果不佳。SDLoRA 并非在 SSM 模块中简单增加 LoRA,而是对其中部分通道和状态进行选择性更新,同时保留投影矩阵上的 LoRA。作者报告,该组合优于标准 LoRA,但摘要未提供具体任务、数据集、指标或增益幅度。 需核对的关键细节包括:四种 PEFT 方法的完整设置、通道与状态的选择规则、可训练参数预算及其匹配方式,以及理论结论的适用条件。实验协议、消融及统计信息尚未验证,不能据此判断其在不同模型规模或任务上的普适性。 平台推测(待验证):若已有预训练 EEG SSM 编码器,该机制可能用于缓解跨被试适配中训练样本有限、全量微调成本较高的问题。可复用的是投影矩阵 LoRA 和 SSM 维度选择性更新的思路;需改造的是 EEG 输入映射、任务输出头及维度选择策略。其原始论证背景为语言建模中的 SSM,摘要未说明依赖的预训练规模或下游监督条件;低信噪比、通道配置变化和个体差异可能使所选维度不稳定。一个可证伪的小实验是在固定预训练编码器和 Cross-subject 划分下,以匹配的可训练参数预算比较投影矩阵 LoRA 与 SDLoRA,并检查多次运行的稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值:该研究通过经验比较与理论分析区分 SSM 模块和线性投影矩阵的微调适用性,为复现 Mamba 类模型的 PEFT 提供了具体切入点,但实验协议与性能增益尚待全文核对。

7月10日周三
  1. OpenReview · State space models78

    MambaByte:无分词的选择性状态空间模型

    基于摘要分析。MambaByte 研究直接从原始字节学习的 token-free 语言建模:去除子词分词的归纳偏置,却也使序列显著变长。其核心贡献是将 Mamba 状态空间模型(SSM)适配为在字节序列上自回归训练的语言模型,并设计结合 tokenized drafting 与 byte-level verification 的推测解码方案。 机制上,摘要将标准自回归 Transformer 随序列长度增长的有效内存需求,与 Mamba 的固定大小记忆状态和高效解码进行对比。MambaByte 利用后者应对字节级长序列;解码阶段由分词模型生成草稿,再进行字节级验证。具体状态更新、训练损失、草稿模型配置与验证规则尚未验证。 作者报告,在语言建模任务上,MambaByte 可与先进的子词 Transformer 竞争,部分比较中甚至表现更好,同时保留 token-free 模型对噪声的鲁棒性。作者报告,相对于标准 MambaByte 实现,其推测解码方案实现 2.6× 推理加速,解码效率接近子词 Mamba。摘要未提供数据集、模型规模、性能指标、硬件、批量大小及序列长度,因此这些效果与速度结论的适用范围,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,固定大小状态的序列处理机制可能缓解长时程 EEG 建模的计算与内存压力,但原任务依赖离散字节及自回归监督,并不等价于连续、多通道 EEG。可考察复用 SSM 序列模块,输入表示、通道融合与任务输出需改造;字节级验证方案不能直接照搬。低信噪比、跨被试差异、通道变化与小数据训练可能削弱收益。一个可证伪的小实验是在同一 EEG 数据划分与匹配训练预算下,对比 SSM 与 Transformer 随输入时长变化的任务性能、峰值内存及推理耗时;仅降低资源消耗不能证明解码效果改善。相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读其以固定大小状态处理长字节序列、并结合 tokenized drafting 与 byte-level verification 加速解码的机制,但语言建模效果与效率结论仍需核对全文实验协议。

6月18日周二
  1. OpenReview · State space models75

    ProtMamba:一种感知同源性但无需序列比对的蛋白质状态空间模型

    基于摘要分析。ProtMamba 针对蛋白质设计中如何利用同源序列的进化信息、同时避免依赖不完善的多序列比对构建流程这一问题,提出基于 Mamba 的蛋白质语言模型。其核心贡献是将拼接的同源序列作为长上下文输入,在不进行序列比对的情况下建模同源信息。 机制与训练:模型在大规模拼接同源序列数据上训练,通过 fill-in-the-middle 目标结合自回归与掩码语言建模。作者报告,相比基于注意力的模型,ProtMamba 能高效处理包含数百条蛋白质序列的长上下文。摘要未给出数据集名称、具体规模、模型参数量、目标实现及计算效率测量条件,这些信息尚未验证。 结果与证据边界:作者报告模型可用于新序列生成和适应度预测,并在模型规模较小的情况下取得与其他蛋白质语言模型有竞争力的表现,认为这体现了长上下文条件信息的重要性。具体指标、对照模型、数据划分、同源关系控制、消融及统计信息尚未验证,因此不能据此判断性能提升幅度或将效果单独归因于 Mamba、同源上下文或训练目标。 平台推测(待验证):其长上下文条件建模机制可能为 EEG 中利用多段相关记录提供思路,但蛋白质同源序列的进化关系并不等同于跨被试或跨会话的 EEG 关联。迁移假设依赖可靠的记录分组与上下文构造,需要改造连续信号表示、通道编码和训练目标;低信噪比、通道差异及小数据可能使长上下文引入无关信息。一个可检验的小实验是在固定 EEG 任务与数据划分下,比较相关记录上下文、随机记录上下文和无上下文条件,检验收益是否来自上下文相关性。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的具体原因是 ProtMamba 以无需多序列比对的同源序列长上下文建模探索进化信息利用,并结合 fill-in-the-middle 训练目标;其性能与规模优势仍需结合全文中的评估协议和对照核验。

1月1日周一
  1. OpenReview · EEG73

    EEGMamba:用于 EEG 分类的双向状态空间模型与混合专家

    基于摘要分析。EEGMamba 面向不同任务中 EEG 信号长度、通道数不一致,以及 Transformer 长序列建模计算开销较大的问题,将 Spatio-Temporal-Adaptive(ST-Adaptive)模块、Bidirectional Mamba 和 Mixture of Experts(MoE)整合为统一的多任务 EEG 分类框架。 机制上,ST-Adaptive 通过空间自适应卷积对不同长度和通道数的 EEG 进行统一特征提取,并引入 class token 实现时间维度适配;摘要未说明具体的长度对齐与通道映射方式。Bidirectional Mamba 用于进一步提取 EEG 特征,作者旨在兼顾长序列处理的分类准确性与推理速度。Task-aware MoE 配置一个通用专家,以建模不同任务 EEG 的差异与共性;专家路由、任务信息如何输入以及训练损失尚未验证。 作者报告,在八个公开 EEG 数据集上进行了测试,覆盖癫痫发作检测、情绪识别、睡眠分期和运动想象四类任务,并报告性能优于对照方法。摘要未提供数据集名称、被试规模、评价指标、具体分数或对照基线,也未明确被试内、跨被试、跨会话或跨数据集划分,因此不能据此确认对未见任务的泛化能力,或量化准确性与速度之间的收益。 复现时应重点核对多任务联合训练与评估协议、异构通道和序列长度的处理,以及 ST-Adaptive、双向建模和通用专家各自的贡献;推理效率比较还需结合输入长度、硬件与计时条件。实验协议、消融及统计信息尚未验证。摘要称代码将于近期发布,当前材料不能确认代码已公开。

    阅读价值:值得核对 EEGMamba 如何通过输入适配、双向状态空间建模和任务感知专家机制处理异构 EEG,但其跨任务泛化与推理效率优势仍需结合全文中的训练划分和对照实验验证。

  2. OpenReview · State space models79

    VMamba:视觉状态空间模型

    基于摘要分析。本文研究如何构建计算高效的视觉网络,将状态空间语言模型 Mamba 适配为具有线性时间复杂度的视觉骨干 VMamba,核心贡献是用 2D Selective Scan(SS2D)处理二维视觉数据与一维选择性扫描之间的结构差异。 技术机制:VMamba 由 Visual State-Space(VSS)块堆叠构成,SS2D 沿四条扫描路径遍历二维数据,以收集不同来源和视角的上下文信息。作者据此构建一系列 VMamba 架构,并通过架构与实现层面的改进加速。摘要未给出具体扫描方向、状态更新公式、损失、训练配置及各加速措施,尚不能核对其计算开销与性能收益的来源。 结果与复现:作者报告,VMamba 在多种视觉感知任务上表现良好,相较现有基准模型具有更优的输入规模扩展效率。摘要未列出任务、数据集、指标、数值或对照配置,因此不能据此判断优势幅度,也不能将线性时间复杂度直接等同于实际运行速度。实验协议、消融及统计信息尚未验证。材料提供了源码仓库,但实现与论文版本的对应关系及完整复现条件仍需核对。 平台推测(待验证):迁移假设是将 EEG 的时间与通道,或时频表示,组织为二维输入,借用多路径选择性扫描建模上下文。原方法依赖二维结构,预训练数据规模与监督设置在摘要中未说明;EEG 的通道排列并不天然等同于图像邻接关系,因此可考察 SS2D 与 VSS 模块,但需改造输入编码、通道拓扑和任务输出。低信噪比、跨被试差异、缺失通道及小数据可能使扫描路径引入不稳定依赖或过拟合。一个可证伪的小实验是在固定 EEG 任务、训练预算与数据划分下,对比二维多路径扫描、仅时间扫描及常规基线,并扰动通道顺序,检验收益是否依赖人为排列;这不是论文已验证的结果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以四条扫描路径将一维选择性扫描适配到二维视觉数据的机制,以及输入规模扩展效率的评估;该机制对 EEG 的适用性尚未验证。

  3. OpenReview · State space models78

    VMamba:视觉状态空间模型

    基于摘要分析。本文研究如何构建计算高效的视觉网络,将状态空间语言模型 Mamba 迁移为具有线性时间复杂度的视觉骨干 VMamba,核心贡献是通过 2D Selective Scan(SS2D)适配二维视觉数据的结构。 机制上,VMamba 由 Visual State-Space(VSS)块堆叠构成,其中 SS2D 沿四条扫描路径遍历,以连接一维选择性扫描的有序处理方式与二维视觉数据的非序列结构,从不同方向汇集上下文信息。作者据此构建了一组 VMamba 架构,并通过架构与实现层面的改进加速。摘要未展开具体扫描顺序、状态更新形式、训练目标或加速实现,相关细节尚未验证。 作者报告,VMamba 在多种视觉感知任务中展现出良好性能,相较既有基准模型具有输入规模扩展效率优势。摘要未提供任务名称、数据集、数据划分、对照模型、数值指标及复杂度测量条件,因此不能据此量化性能提升,或将线性复杂度直接等同于实际运行速度优势。实验协议、消融及统计信息尚未验证。材料提供了公开代码仓库,复现仍需核对具体配置、训练预算与软硬件环境。 平台推测(待验证):若 EEG 被表示为通道×时间或时频二维结构,SS2D 的多方向上下文聚合可能用于建模长程依赖;这一假设依赖二维排列能够保留有意义的通道或时频关系,视觉领域结果不等于 EEG/BCI 效果。可考察复用 VSS 与扫描机制,但需改造输入编码、通道排列和任务输出。低信噪比、不规则电极布局、跨被试差异及小数据训练可能削弱收益,预训练与监督规模要求也尚未验证。一个可检验的小实验是在固定 EEG 数据划分、训练预算和相近模型容量下,对照多方向 SS2D 与单方向扫描,并扰动通道排列,观察任务指标及计算成本是否稳定改善。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以四条扫描路径将一维选择性扫描适配到二维视觉数据的机制,并核对输入规模扩展效率的对照实验;该机制对 EEG 的适用性尚未验证。

  4. OpenReview · State space models77

    STREAM:面向稀疏几何数据的通用状态空间模型

    基于摘要分析。STREAM 面向点云、事件视觉等稀疏且非结构化的几何数据,将几何结构显式编码进状态空间模型的参数化,而不是仅依赖序列化预处理及模型自行推断几何关系。其核心贡献是利用坐标的相对差异控制状态空间模型的步长,并基于 Mamba selective state-space model 与修改后的 CUDA kernel 实现高效计算。 机制上,状态空间模型的线性动态由时间或空间坐标等一维变量驱动,STREAM 将相对坐标差注入这一动态变量对应的步长。作者称,由此形成的几何操作可在 O(N) 步中计算 N 个点之间的全点对交互;该表述不应直接等同于已验证的端到端运行时间或显存复杂度,具体交互定义、点的遍历顺序与实现条件尚需正文核对。 作者报告,在从头训练的 ModelNet40 和 ScanObjectNN 点云分析任务中,STREAM 改善了 PointMamba 基线表现,但摘要未提供具体指标数值。作者还报告,在 DVS128 Gestures 数据集全部 11 个类别的测试中取得 100% Accuracy,并声称这是首次达到该结果;测试划分、预处理、重复实验及统计信息尚未验证。摘要另称模型在事件视觉和音频分类等基准上具有竞争力,具体对照与实验协议尚未验证。 平台推测(待验证):假设相对坐标驱动的状态更新能保留不规则采样结构,它可能对应 EEG 中不规则时间采样或稀疏电极空间建模的问题。可考虑复用状态更新机制,但需改造 EEG 信号的点表示、时空坐标及遍历方式;低信噪比、跨被试差异、通道缺失与小数据训练都可能削弱该归纳偏置。一个可检验的小实验是在固定 EEG 数据划分和相同输入表示下,比较相对坐标步长与固定步长,并测试通道缺失时的性能变化。此为迁移假设,不是已证实的 BCI 收益;相关 EEG 工作尚未检索确认。复现还需核对完整模型配置、CUDA kernel、训练条件及代码可用性。

    阅读价值:值得核对 STREAM 将相对坐标差注入状态空间步长的机制及其修改后的 CUDA 实现,以评估稀疏几何归纳偏置的收益;摘要中的全点对交互与测试准确率仍需结合完整实验协议验证。

  5. OpenReview · State space models74

    Mamba-CL:在零空间中优化选择性状态空间模型以实现持续学习

    基于摘要分析。该研究面向持续学习中的灾难性遗忘,提出 Mamba-CL,通过在历史任务特征子空间的正交方向更新参数,持续微调大规模 Mamba 基础模型的核心 SSM,力求保留既有知识并学习新任务。 核心机制是将参数更新限制在历史特征子空间对应的零空间内。作者围绕 Mamba 的四个关键时不变参数推导整体一致性约束,处理 SSM 的递归状态空间结构与非线性离散化过程,再以零空间投影实现正交更新。作者声称,该方法在理论上保证各 SSM 模块在先前与当前任务上的输出一致性目标;具体保证的假设、约束范围,以及模块级一致性如何对应最终任务性能,需结合全文核对。 作者报告,在四个类别增量学习基准上,Mamba-CL 展现出抗遗忘效果,性能优于所比较的先进方法。摘要未提供基准名称、任务序列、数据划分、指标或具体数值,因此无法判断提升幅度及不同协议下的可比性。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料中,但其可获取性、运行配置与复现要求尚未核对。 平台推测(待验证):该机制可能对应 EEG 持续学习中新增类别或连续会话更新引起的遗忘,但依赖历史特征子空间能稳定表征需保留的知识。可复用的是零空间投影与参数一致性约束;需改造的是 EEG 时序输入、通道适配和特征子空间估计。低信噪比、跨被试差异、通道变化及小样本可能使子空间估计不稳定,或过度限制更新、妨碍新任务学习。一个可检验的假设是:在固定 EEG 类别增量协议下,使用相同 Mamba 骨干与数据划分,对照普通顺序微调和零空间约束更新,检验历史类别 Accuracy 的保留是否以新类别学习能力下降为代价。上述迁移不属于本文已验证结果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对其针对 Mamba 核心 SSM 参数推导的一致性约束与零空间投影实现,尤其是理论保证的适用条件及抗遗忘与新任务学习能力之间的权衡。

  6. OpenReview · State space models78

    MambaByte:无 token 的选择性状态空间模型

    基于摘要分析。MambaByte 研究直接从原始字节学习的无 token 语言建模,旨在避免子词分词的归纳偏置,同时缓解字节序列更长带来的计算与内存压力。其核心贡献是将 Mamba 状态空间模型(SSM)用于字节序列的自回归训练,并提出结合 tokenized drafting 与 byte-level verification 的推测解码适配方案。 机制上,摘要将标准自回归 Transformer 随序列长度增长的内存需求,与 Mamba 的固定大小记忆状态及高效解码进行对照。MambaByte 的建模单位是字节,而非子词;推测解码则用 token 化序列生成草稿,再在字节层面验证。具体状态更新、选择性机制、训练损失及草稿验证流程尚未验证。 作者报告,MambaByte 在语言建模任务上可与先进的子词 Transformer 竞争,部分表现更优,并保留无 token 模型的噪声鲁棒性优势。作者还报告,其推测解码适配方案相较标准 MambaByte 实现获得 2.6 倍推理加速,解码效率与子词 Mamba 相近。摘要未提供对应数据集、模型规模、任务指标、硬件、生成长度及对照配置,因此这些结果只能在作者所述比较范围内理解,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其固定大小状态机制可能对应 EEG 长时序处理中随窗口长度增长的资源瓶颈,但字节语言建模依赖离散序列与自回归监督,不能直接等同于连续、多通道 EEG 建模。可考察 SSM 主干的复用,输入编码与训练目标需改造;tokenized drafting 的优势是否成立则取决于 EEG 是否存在合适的离散草稿表示。低信噪比、跨被试分布差异、通道变化及小数据可能削弱效果。一个可检验的小实验是在固定数据划分和参数预算下,比较 SSM 与 Transformer 在不同 EEG 窗口长度上的任务指标、峰值内存及推理延迟。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其以固定大小状态处理长字节序列的机制,以及结合 tokenized drafting 与 byte-level verification 的推测解码方案;摘要中的语言建模与效率结论仍需结合完整实验协议核对。