跳到正文

算法、任务与模态

Mamba 最新动态

Mamba 研究索引；按可核对的标签归档，不以热度评价质量。

402 条精选近 30 天 33 条共收录 566 条

更新

精选归档 · 第 21 页

1月1日周一第 401–402 条
  1. OpenReview · State space models71

    RSMamba：基于状态空间模型的遥感图像分类

    基于摘要分析。该研究面向遥感图像场景分类，提出基于状态空间模型（SSM）的 RSMamba，旨在兼顾整幅图像的全局理解与线性建模复杂度；核心贡献是通过动态多路径激活机制增强 Mamba 对非因果二维图像数据的建模能力，而非提出 EEG 或 BCI 方法。 技术机制：摘要将遥感场景的复杂性、多样性及其时空分辨率变化列为分类难点。RSMamba 采用硬件感知的 Mamba 设计，在保留原有建模机制的同时，引入动态多路径激活，以应对原始 Mamba 的因果序列建模方式与二维图像结构之间的不匹配。路径如何构造、动态激活如何实现，以及训练目标和推理流程，摘要未提供细节，尚未验证。 结果与复现：作者报告，RSMamba 在多个遥感图像分类数据集上表现更优，但摘要未给出数据集名称、划分协议、对照配置、指标或数值，不能据此量化优势。作者据此提出其作为未来视觉基础模型骨干的潜力，这不等于已经完成基础模型验证。摘要表示代码将公开，当前可用性尚未验证；实验协议、消融及统计信息亦尚未验证。 平台推测（待验证）：若多路径机制确实能够减少单一序列顺序对建模的限制，则可能为离线 EEG 的时间—通道联合建模提供参考。可考虑复用 SSM 建模模块，但图像路径需改造成符合电极拓扑与时间结构的路径，分类输入和任务监督也需适配。低信噪比、通道布局变化、跨被试差异及小样本训练可能削弱收益；非因果建模还需与在线 BCI 的因果约束区分。一个可检验的小实验是在固定 EEG 数据划分、预处理及训练预算下，对照单路径 Mamba 与多路径变体，分别检查被试内和跨被试表现，并测试通道扰动下的稳定性。以上仅为机制迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其以动态多路径激活机制扩展 Mamba 对非因果二维数据的建模能力，但性能优势及其对 EEG 的迁移价值仍需分别验证。

9月22日周五
  1. OpenReview · State space models86

    Mamba：基于选择性状态空间的线性时间序列建模

    Mamba 针对长序列模型计算效率与内容依赖推理能力之间的矛盾，通过输入依赖的选择性状态空间模型（SSM）构建不含注意力和 MLP 模块的序列建模架构。基于摘要分析，原论文主要研究语言、音频和基因组学等模态，并非 EEG 或 BCI 方法。 核心机制是让 SSM 参数成为输入的函数，使模型根据当前 token 沿序列维度选择性传播或遗忘信息。作者认为，这可缓解既有次二次时间架构在离散模态上缺乏内容依赖推理能力的问题。由于输入依赖参数使原有高效卷积计算不再适用，作者设计了硬件感知的递归模式并行算法，并将选择性 SSM 整合进 Mamba。具体参数化、训练目标与实现细节尚未验证。 作者报告，Mamba 的计算随序列长度线性扩展，推理吞吐量为 Transformer 的 5 倍，并在真实数据上观察到性能随序列长度增加而改善，最长涉及百万长度序列；摘要未提供该吞吐量比较的硬件、批量、序列长度及基线配置，不能据此推断任意部署条件下的加速效果。在语言建模的预训练及下游评估中，作者报告 Mamba-1.4B 超过同规模 Transformer，并匹配两倍规模的 Transformer。作者还报告其在语言、音频和基因组学等模态达到当时最先进表现，但数据集、具体指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 任务需要从长时间序列中保留任务相关片段并抑制无关信息，输入依赖的状态更新可能提供可复用机制。可复用部分是选择性 SSM 与长序列计算框架；需改造 EEG 输入表示、通道融合及任务输出。低信噪比可能使选择机制追随伪迹，跨被试差异和小数据训练也可能削弱效果。一个可检验的小实验是在固定数据划分、预处理与训练预算下，比较选择性 SSM、非选择性 SSM 和 Transformer 的任务指标、吞吐量及显存占用，并检查噪声扰动下的稳定性。已有 EEG 相关工作尚未检索确认，原领域结果不构成 BCI 有效性的证据。

    阅读价值：值得阅读其输入依赖的选择性状态空间机制与硬件感知递归计算设计，以评估长序列建模的效率—性能取舍；其对 EEG 的适用性尚未验证。