跳到正文

算法、任务与模态

Mamba 最新动态

Mamba 研究索引；按可核对的标签归档，不以热度评价质量。

128 条精选近 30 天 13 条共收录 175 条

更新

精选归档 · 第 7 页

1月1日周一第 121–128 条
  1. OpenReview · State space models74

    Mamba3D：通过状态空间模型增强 3D 点云分析的局部特征

    基于摘要分析。本文研究 3D 点云分析中 Transformer 的二次复杂度与直接采用 Mamba 时表征效果不理想的问题，提出面向点云学习的状态空间模型 Mamba3D，以增强局部几何特征提取并兼顾全局表征。原论文的主要对象是点云，而非 EEG 或 BCI。 机制上，Mamba3D 使用 Local Norm Pooling（LNP）模块提取局部几何特征；同时引入 bidirectional SSM（bi-SSM），包含沿 token 方向运行的前向 SSM，以及在特征通道上运行的反向 SSM。这里的“反向”不宜直接理解为对 token 序列进行逆序扫描。摘要未披露 LNP 的具体运算、点云序列化方式、训练损失及预训练目标，这些实现细节尚未验证。 作者报告，Mamba3D 在多个点云任务中优于 Transformer 对照及同期方法，并具有线性复杂度。在分类任务中，ScanObjectNN 从头训练的 overall accuracy 为 92.6%；ModelNet40 使用单模态预训练后的 overall accuracy 为 95.1%。两项结果对应不同数据集与训练条件，不能直接横向比较。摘要未给出具体数据划分、输入点数、对照配置、复杂度的计量对象及实际运行效率；实验协议、消融及统计信息尚未验证。作者提供了代码与权重地址，但其可用性及复现条件尚未核对。 平台推测（待验证）：若将 EEG 电极空间邻域用于局部特征提取，并以时间 token 的 SSM 建模长时依赖，其“局部结构增强＋线性复杂度全局建模”机制可能具有借鉴价值。可复用的是局部聚合与 SSM 建模思路；需改造点云几何输入、序列组织及特征通道处理，且电极通道不能直接等同于网络特征通道。低信噪比、跨被试差异、不同电极布局及小样本训练都可能削弱效果。一个可检验的小实验是在固定 EEG 数据划分、训练预算和输入条件下，对比基础 SSM 与加入电极邻域局部聚合的版本，分别核对被试内和跨被试分类表现。该迁移假设不构成已验证的 BCI 贡献，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其 Local Norm Pooling 与 token／特征通道双向 SSM 如何改善点云局部与全局表征，以及线性复杂度下的分类表现；其对 EEG 的适用性尚未验证。

  2. OpenReview · State space models74

    GroupMamba：参数高效且准确的分组视觉状态空间模型

    基于摘要分析。该研究面向计算机视觉中纯状态空间模型（SSM）扩展至较大规模时的训练不稳定与参数效率问题，提出 GroupMamba，以分组空间扫描、跨通道调制及蒸馏训练目标改善模型性能；其主要研究对象是视觉任务，而非 EEG 或 BCI。 核心机制是 Modulated Group Mamba 层：将输入特征通道划分为四组，每组独立使用一个 Visual Single Selective Scanning（VSSS）模块，分别沿四个空间方向扫描；再通过通道调制算子增强组间的跨通道信息交流。这里的“通道”指视觉特征通道，不能直接等同于 EEG 电极。作者还引入基于蒸馏的训练目标以稳定大模型训练，但摘要未给出教师模型、蒸馏损失形式及具体训练配置。 作者报告，该方法在 ImageNet-1K 图像分类、MS-COCO 目标检测与实例分割、ADE20K 语义分割上优于现有方法。其中，具有 23M 参数的 tiny 变体在 ImageNet-1K 分类中取得 83.3% 的 top-1 Accuracy；作者称其相较同等模型规模的最佳现有 Mamba 设计，参数效率提高 26%。摘要未明确这一效率比例的计算口径及具体对照型号，也未提供其余任务的分数，因此不能将不同任务或配置的结果直接比较。实验协议、消融及统计信息尚未验证。摘要提供了代码与模型发布地址，但实现与权重可用性尚未核验。 平台推测（待验证）：若 EEG 表征包含有意义的时间—空间或时间—频率结构，分组扫描与跨组调制可能成为降低计算开销、保留长程依赖的候选机制。可复用部分是分组 SSM 和调制思路，需改造输入编码与扫描方向；视觉二维邻接关系不能直接套用到电极布局。低信噪比、跨被试差异、通道缺失及小数据条件可能削弱收益，蒸馏还依赖可靠教师。一个可检验的小实验是在固定 EEG 输入、训练预算与被试划分下，对比分组扫描、加入调制及加入蒸馏的配置，分别报告被试内与跨被试性能、参数量和训练稳定性。此为迁移假设，并非本文已验证结论；已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其分组定向扫描、跨通道调制与蒸馏训练如何共同改善视觉 SSM 的参数效率和训练稳定性，但这些机制对 EEG 的适用性尚未验证。

  3. OpenReview · State space models74

    Mamba-CL：在零空间中优化选择性状态空间模型以实现持续学习

    基于摘要分析。该研究面向持续学习中的灾难性遗忘，提出 Mamba-CL，通过在历史任务特征子空间的正交方向更新参数，持续微调大规模 Mamba 基础模型的核心 SSM，力求保留既有知识并学习新任务。 核心机制是将参数更新限制在历史特征子空间对应的零空间内。作者围绕 Mamba 的四个关键时不变参数推导整体一致性约束，处理 SSM 的递归状态空间结构与非线性离散化过程，再以零空间投影实现正交更新。作者声称，该方法在理论上保证各 SSM 模块在先前与当前任务上的输出一致性目标；具体保证的假设、约束范围，以及模块级一致性如何对应最终任务性能，需结合全文核对。 作者报告，在四个类别增量学习基准上，Mamba-CL 展现出抗遗忘效果，性能优于所比较的先进方法。摘要未提供基准名称、任务序列、数据划分、指标或具体数值，因此无法判断提升幅度及不同协议下的可比性。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料中，但其可获取性、运行配置与复现要求尚未核对。 平台推测（待验证）：该机制可能对应 EEG 持续学习中新增类别或连续会话更新引起的遗忘，但依赖历史特征子空间能稳定表征需保留的知识。可复用的是零空间投影与参数一致性约束；需改造的是 EEG 时序输入、通道适配和特征子空间估计。低信噪比、跨被试差异、通道变化及小样本可能使子空间估计不稳定，或过度限制更新、妨碍新任务学习。一个可检验的假设是：在固定 EEG 类别增量协议下，使用相同 Mamba 骨干与数据划分，对照普通顺序微调和零空间约束更新，检验历史类别 Accuracy 的保留是否以新类别学习能力下降为代价。上述迁移不属于本文已验证结果，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其针对 Mamba 核心 SSM 参数推导的一致性约束与零空间投影实现，尤其是理论保证的适用条件及抗遗忘与新任务学习能力之间的权衡。

  4. OpenReview · State space models78

    MambaByte：无 token 的选择性状态空间模型

    基于摘要分析。MambaByte 研究直接从原始字节学习的无 token 语言建模，旨在避免子词分词的归纳偏置，同时缓解字节序列更长带来的计算与内存压力。其核心贡献是将 Mamba 状态空间模型（SSM）用于字节序列的自回归训练，并提出结合 tokenized drafting 与 byte-level verification 的推测解码适配方案。 机制上，摘要将标准自回归 Transformer 随序列长度增长的内存需求，与 Mamba 的固定大小记忆状态及高效解码进行对照。MambaByte 的建模单位是字节，而非子词；推测解码则用 token 化序列生成草稿，再在字节层面验证。具体状态更新、选择性机制、训练损失及草稿验证流程尚未验证。 作者报告，MambaByte 在语言建模任务上可与先进的子词 Transformer 竞争，部分表现更优，并保留无 token 模型的噪声鲁棒性优势。作者还报告，其推测解码适配方案相较标准 MambaByte 实现获得 2.6 倍推理加速，解码效率与子词 Mamba 相近。摘要未提供对应数据集、模型规模、任务指标、硬件、生成长度及对照配置，因此这些结果只能在作者所述比较范围内理解，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其固定大小状态机制可能对应 EEG 长时序处理中随窗口长度增长的资源瓶颈，但字节语言建模依赖离散序列与自回归监督，不能直接等同于连续、多通道 EEG 建模。可考察 SSM 主干的复用，输入编码与训练目标需改造；tokenized drafting 的优势是否成立则取决于 EEG 是否存在合适的离散草稿表示。低信噪比、跨被试分布差异、通道变化及小数据可能削弱效果。一个可检验的小实验是在固定数据划分和参数预算下，比较 SSM 与 Transformer 在不同 EEG 窗口长度上的任务指标、峰值内存及推理延迟。上述仅为迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读其以固定大小状态处理长字节序列的机制，以及结合 tokenized drafting 与 byte-level verification 的推测解码方案；摘要中的语言建模与效率结论仍需结合完整实验协议核对。

  5. OpenReview · State space models72

    PathMamba：用于病理图像多类别分割的弱监督状态空间模型

    基于摘要分析。该研究针对病理图像多类别分割中密集像素标注成本高的问题，提出仅使用图像级标签训练的弱监督状态空间模型 PathMamba，通过结合像素级与 patch 级特征学习局部细节和全局上下文。 方法首先将像素视为实例，基于 Multi-Instance Multi-Label Learning 提取像素级特征图，再将其注入 Contrastive Mamba Block。该模块结合状态空间模型与对比学习，提取病理图像中的非因果双粒度特征；作者另提出 Deep Contrast Supervised Loss，以更充分利用有限的标注信息。摘要未给出对比样本构造、双粒度特征交互方式、损失公式及推理流程，具体机制尚需全文核对。 作者报告，在两个公开病理图像数据集上，PathMamba 优于所比较的先进弱监督方法，并能生成区域一致性更好的分割结果。摘要未列出数据集名称、划分协议、评价指标、分数及对照方法，因此无法判断提升幅度及适用范围；实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但其运行条件与结果可复现性尚未验证。 平台推测（待验证）：其可考察的跨领域机制是由样本级弱标签学习局部特征，并结合细粒度与粗粒度上下文；这不等于已证实的 EEG/BCI 效果。若 EEG 任务具有记录级标签而缺少事件级标注，可假设将像素实例改为时间窗实例、将 patch 改为较长片段，探索弱监督事件定位。状态空间与多实例学习模块可能可复用，但图像空间邻域、粒度定义和对比关系均需改造。低信噪比、跨被试差异、通道配置变化及小数据条件可能使局部特征聚焦于伪迹而非目标事件。一个可证伪的小实验是在具有事件标注的 EEG 数据上，仅用记录级标签训练，以保留的事件标注评估定位，并在相同被试划分下比较多实例学习基线与加入双粒度模块后的结果。相关 EEG 工作尚未检索确认。

    阅读价值：值得阅读其以图像级标签结合像素级与 patch 级特征进行多类别分割的机制，重点核对 Contrastive Mamba Block 与 Deep Contrast Supervised Loss 的具体实现及贡献；其对 EEG/BCI 的适用性尚未验证。

  6. OpenReview · State space models73

    RSMamba：基于状态空间模型的遥感图像分类

    基于摘要分析。该研究面向遥感场景分类，提出基于状态空间模型（SSM）的 RSMamba，旨在通过全局感受野与线性建模复杂度改善整幅图像的语义理解；其核心贡献是动态多路径激活机制，用于增强 Mamba 对二维非因果数据的建模能力。 机制方面，作者采用 Mamba 的硬件感知设计，并针对其原有因果序列建模方式与二维图像结构之间的不适配引入多路径激活，同时保留原有 Mamba 的建模机制。摘要未提供路径构造、激活规则、图像序列化方式、训练目标及具体架构细节，这些内容尚未验证。作者将其定位为潜在视觉基础模型骨干，但摘要并未展示基础模型预训练或迁移评估。 结果方面，作者报告在 UC Merced、AID、RESISC45 遥感图像分类数据集上的 F1 分别为 95.25、92.63、95.18，并称优于同期 Vim 和 VMamba。摘要未说明数值单位、训练与测试划分、F1 平均方式及对照训练条件，因此不能据此作严格的跨方法比较；实验协议、消融及统计信息尚未验证。材料提供了代码仓库，但实现与论文结果的一致性尚未核对。 平台推测（待验证）：可迁移假设是，多路径机制或可用于离线 EEG 分类中的通道—时间联合建模，缓解单一序列顺序对跨通道关系表达的限制。可考虑复用 SSM 模块，重新设计 EEG 输入表示、通道顺序与路径构造；遥感图像的二维空间结构不能直接等同于 EEG 通道—时间结构。低信噪比、跨被试差异、通道布局变化及小数据规模均可能使收益消失，非因果路径也需与在线 BCI 的因果约束区分。一个可检验的小实验是在固定 Cross-subject 划分与训练预算下，对比单路径 Mamba 和多路径变体的离线 EEG 分类表现，并检查通道顺序扰动后的稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其以动态多路径激活机制拓展 Mamba 对二维非因果数据的建模能力，但摘要中的遥感分类结果尚不能证明其适用于 EEG 或 BCI。

  7. OpenReview · State space models73

    SMamba：通过可伸缩状态空间模型实现任意尺度超分辨率

    基于摘要分析。研究针对任意尺度超分辨率（ASSR）：用单一模型将低分辨率图像重建为任意目标尺度的高分辨率图像。作者提出正文称为 S³Mamba 的方法，通过 Scalable State Space Model（SSSM）构建可随尺度调整的连续表示空间，并结合尺度感知自注意力提取不同尺度下的重要全局特征。 机制上，摘要将隐式神经表示（INR）描述为连接坐标与像素值、重建连续信号的途径。SSSM 在离散化过程中调制状态转移矩阵及步长采样矩阵，作者称由此实现具有线性计算复杂度的连续尺度建模。尺度感知自注意力用于补充不同尺度下的全局特征感知；具体调制公式、尺度条件的注入方式、训练损失，以及线性复杂度是否涵盖完整网络，尚未验证。 作者报告，在合成与真实场景基准上的实验取得了最先进的性能及任意超分辨率尺度下的泛化能力。摘要未提供基准名称、训练与测试尺度划分、对照方法、指标或数值，因而尚不能核对其提升幅度，或区分已见尺度与未见尺度的泛化。实验协议、消融及统计信息尚未验证；代码与复现条件亦未确认。 平台推测（待验证）：假设该尺度条件化的连续表示机制可用于 EEG 时间轴重采样或缺失采样点重建，其潜在对应问题是不同采样率下的信号表示一致性，而不是直接提升 BCI 分类效果。可考虑复用尺度调制的状态空间模块，但需将二维图像坐标改为时间坐标，并处理通道结构、频带约束与抗混叠；原任务依赖低分辨率输入及高分辨率重建目标，迁移所需监督和数据规模尚不明确。低信噪比、小样本及跨被试差异可能使模型重建伪波形或失真频谱。一个可证伪的小实验是在按被试隔离的数据上，对高采样率 EEG 进行抗混叠降采样，比较该机制与常规插值在未见采样比例下的波形、频谱及下游任务表现。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对其通过离散化过程中的状态转移与步长采样调制实现连续尺度建模的机制，尤其是线性复杂度的适用范围及尺度外泛化证据；其对 EEG 的价值尚未验证。

  8. OpenReview · State space models71

    RSMamba：基于状态空间模型的遥感图像分类

    基于摘要分析。该研究面向遥感图像场景分类，提出基于状态空间模型（SSM）的 RSMamba，旨在兼顾整幅图像的全局理解与线性建模复杂度；核心贡献是通过动态多路径激活机制增强 Mamba 对非因果二维图像数据的建模能力，而非提出 EEG 或 BCI 方法。 技术机制：摘要将遥感场景的复杂性、多样性及其时空分辨率变化列为分类难点。RSMamba 采用硬件感知的 Mamba 设计，在保留原有建模机制的同时，引入动态多路径激活，以应对原始 Mamba 的因果序列建模方式与二维图像结构之间的不匹配。路径如何构造、动态激活如何实现，以及训练目标和推理流程，摘要未提供细节，尚未验证。 结果与复现：作者报告，RSMamba 在多个遥感图像分类数据集上表现更优，但摘要未给出数据集名称、划分协议、对照配置、指标或数值，不能据此量化优势。作者据此提出其作为未来视觉基础模型骨干的潜力，这不等于已经完成基础模型验证。摘要表示代码将公开，当前可用性尚未验证；实验协议、消融及统计信息亦尚未验证。 平台推测（待验证）：若多路径机制确实能够减少单一序列顺序对建模的限制，则可能为离线 EEG 的时间—通道联合建模提供参考。可考虑复用 SSM 建模模块，但图像路径需改造成符合电极拓扑与时间结构的路径，分类输入和任务监督也需适配。低信噪比、通道布局变化、跨被试差异及小样本训练可能削弱收益；非因果建模还需与在线 BCI 的因果约束区分。一个可检验的小实验是在固定 EEG 数据划分、预处理及训练预算下，对照单路径 Mamba 与多路径变体，分别检查被试内和跨被试表现，并测试通道扰动下的稳定性。以上仅为机制迁移假设，已有 EEG 相关工作尚未检索确认。

    阅读价值：值得阅读的是其以动态多路径激活机制扩展 Mamba 对非因果二维数据的建模能力，但性能优势及其对 EEG 的迁移价值仍需分别验证。