跳到正文
#Mamba
10月4日周日
  1. arXiv · 架构与算子73

    METRO：度量增强的 token 路由算子

    基于摘要分析。该研究针对神经算子在复杂网格上进行潜在 token 切片时局部性不足的问题，提出 Metric-Enhanced Token Routing Operator（METRO）：以可学习的 Mahalanobis 度量替代线性兼容性评分，使不同潜在切片学习各自的各向异性局部几何。 机制上，作者指出，常见特征归一化条件下的线性评分等价于各向同性欧氏聚类；不归一化时则形成无界的线性决策区域，两者均难以表达切片专属的各向异性局部性。METRO 为每个潜在切片学习局部各向异性张量，将感受野塑造成具有指数局部化特性的定向椭球，以适配边界层、尾流等流动结构。摘要将其定位为可直接替换的路由模块，但度量的具体参数化、训练目标与计算开销尚未验证。 作者报告，在所评估的 Transformer 和 Mamba 骨干上均取得改进，并在标准 PDE 基准及复杂工业设计任务的不规则域上优于基线；作者还报告，在不同 Reynolds numbers 和几何配置的分布外条件下鲁棒性增强。摘要未提供具体数据集、划分、基线配置或指标数值，实验协议、消融及统计信息尚未验证，不能据此量化收益或判断其适用边界。 平台推测（待验证）：若 EEG 表征中存在可学习的局部几何，各向异性路由可能用于缓解通道或时空 token 聚合中的冗余与混杂。可复用的是切片专属度量与路由思想；需改造的是 EEG token 构造、位置表征及度量约束。原方法面向复杂网格与流动结构，其所需数据规模、监督方式及几何先验尚未明确，不能直接等同于 EEG 条件。低信噪比、跨被试漂移、通道差异和小数据可能使度量拟合噪声。一个可证伪的小实验是：在同一 EEG 任务、固定骨干与训练预算下，对比线性路由与 METRO，分别核对被试内和跨被试协议中的任务指标、切片冗余及计算开销。已有 EEG 相关工作尚未检索确认。

    阅读价值：值得核对 METRO 的切片专属 Mahalanobis 度量是否确实改善潜在切片的局部性与冗余，以及其跨骨干和分布外收益所依赖的评估条件；摘要尚不足以确认其 EEG 迁移价值。

10月3日周六
  1. arXiv · 架构与算子73

    PhysMamba：作为学习型多关节体模拟器的选择性状态空间模型

    基于摘要分析。PhysMamba 研究如何用选择性状态空间模型（SSM）学习多关节体动力学，根据位置、旋转与关节动作历史预测下一帧全身状态，无需输入速度。其贡献是将该模型用于学习型模拟，并评估架构、观测条件与 rollout 训练协议对预测精度和稳定性的影响；作者将其称为首个基于选择性 SSM 的学习型多关节体模拟器，该优先性尚未独立验证。 作者比较了四种架构在部分观测、完全观测输入及三种训练协议下的表现。作者报告，在部分观测条件下，从头进行 rollout 训练使 Mamba2 获得较好的短、中期预测精度，摘要给出“s10 = 43 mm、2/50 diverged”。s10 的具体定义、评估时域及发散统计的单位和判据尚未验证。作者还报告，两阶段、基于教师的 rollout 训练能稳定 GRU，却未能在 Mamba2 上取得相同效果，提示训练协议的有效性可能依赖架构，但具体原因需查阅正文。 效率方面，作者报告，在 H100 GPU 上采用 CUDA graph 编译后，Mamba2 达到每帧 0.107 ms、9,334 FPS，吞吐与未编译 GRU 的差距在 1.1 倍范围内；接入 30 Hz HMR 流程时增加的延迟低于 1%。作者据此提出将其作为视频人体网格恢复中的可微分物理模块。计时边界、批量设置、端到端集成方式与梯度实现尚未验证。 平台推测（待验证）：利用历史观测推断未显式输入的动态状态，对 EEG 时序建模具有方法层面的参考意义，但人体动力学预测有效并不等于 EEG/BCI 有效，不能直接沿用关节状态表示或物理约束。已有 EEG 相关工作尚未检索确认。全文未取得，数据集、划分、损失、消融及统计信息尚未验证。

    阅读价值：值得关注其在部分观测条件下利用历史状态进行动力学预测的机制，以及 Mamba2 与 GRU 对不同 rollout 训练协议表现出的差异；这些结论的复现仍需核对完整实验协议。