跳到正文

算法、任务与模态

SSM 最新动态

SSM 研究索引;按可核对的标签归档,不以热度评价质量。

62 条精选近 30 天 9 条共收录 76 条

更新

精选归档 · 第 2 页

6月13日周五第 21–40 条
  1. OpenReview · State space models73

    DyGMamba:利用状态空间模型高效建模连续时间动态图中的长期时间依赖

    基于摘要分析。DyGMamba 面向连续时间动态图(CTDG)表示学习,试图同时解决长节点交互历史带来的计算开销,以及从长历史中识别关键时间信息的难题。其核心贡献是结合节点级与时间级状态空间模型(SSM),在编码历史交互的同时动态选择重要信息。 机制上,DyGMamba 源于 Mamba:节点级 SSM 首先编码节点历史交互序列,时间级 SSM 再提取历史图中的时间模式,并用其输出动态选择交互历史中的关键信息。摘要支持这种功能分工,但未说明选择操作、时间间隔编码、损失形式和训练细节,不能据此推断具体网络结构或复杂度阶数。 作者在动态图链接预测任务上验证该方法,并报告其在多数情况下达到最先进水平,同时保持较高的计算资源效率,使有限计算预算下捕获长期时间依赖成为可能。摘要未提供数据集、划分、对照基线、指标数值或资源测量条件,因此尚不能判断优势集中在哪类图、历史长度或预测协议;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于将 EEG 表示为带时间戳交互事件图的研究,探索长时依赖与关键交互筛选,但原领域有效不等于 BCI 有效。可复用的是历史交互序列编码和时间信息选择思路;需要改造的是 EEG 通道或脑区节点定义、边事件构建及任务监督。其依赖的事件图结构与常规连续 EEG 信号并不等同,低信噪比可能产生不稳定边事件,跨被试通道差异和小数据也可能削弱选择机制。一个可检验的小实验是在固定 EEG 图构建、数据划分与计算预算下,对比完整机制和不使用时间级动态选择的版本,检查长历史是否带来稳定收益。已有 EEG 相关工作尚未检索确认;具体复现仍需取得全文及核对实现条件。

    阅读价值:值得核对其节点级历史编码与时间级动态信息选择的协同机制,以及长交互历史下预测性能和计算资源开销的权衡;摘要中的领先结果仍需结合具体评估协议验证。

5月1日周四
  1. OpenReview · State space models74

    面向复杂环境长期动力学预测的可泛化物理增强状态空间模型

    基于摘要分析。该研究针对复杂环境中含噪声、非规则采样数据的长期动力学预测,提出 Phy-SSM,将部分已知物理知识融入状态空间模型(SSMs),以改善长期插值与外推。 核心机制是将部分已知的系统动力学分解为已知与未知状态矩阵,并将其整合到 Phy-SSM 单元中;同时引入 physics state regularization,使估计的潜在状态与系统动力学对齐。研究动机是结合 SSMs 的长程依赖建模能力与物理知识提供的约束。作者还对方法解的唯一性进行了理论分析,但具体假设、适用条件、矩阵参数化及正则项形式尚未验证。 作者报告,在车辆运动预测、无人机状态预测和 COVID-19 流行病学预测三类真实应用中,Phy-SSM 在长期插值与外推任务上优于对照基线。摘要未提供具体数据集名称、划分方式、预测时长、噪声与采样设置、基线名称或指标数值,因此尚不能判断优势幅度及不同协议下的稳健性。实验协议、消融及统计信息尚未验证。作者表示代码将在发表时公开,当前材料不能确认代码已可用或论文已正式发表。 平台推测(待验证):若 EEG 预测任务存在可明确表达的部分动力学先验,已知与未知状态矩阵的分解可能为低信噪比、非规则采样下的时间序列建模提供约束。这是假设,并非已验证的 EEG/BCI 效果。可考虑复用矩阵分解与潜在状态正则化机制,但需要重新定义 EEG 的潜在状态、观测映射与先验;跨被试动力学差异、通道变化、错误先验及小数据条件都可能使约束失效。一个可检验的小实验是在固定被试内划分与预测时长下,对比普通 SSM、加入合理先验的 Phy-SSM 和加入扰动先验的版本,并评估不同噪声与采样缺失条件下的预测误差。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 Phy-SSM 如何将部分已知动力学纳入状态矩阵及潜在状态正则化,尤其是其在噪声、非规则采样条件下的长期外推协议;其对 EEG 的适用性尚未验证。

  2. OpenReview · State space models72

    状态空间模型的参数高效微调

    基于摘要分析。本文研究 Mamba 等深度状态空间模型(SSMs)的参数高效微调(PEFT),重点考察既有方法的表现及应调节的参数位置,并提出面向 SSM 模块的 Sparse Dimension Tuning(SDT),与用于线性投影矩阵的 LoRA 组合。 作者报告,LoRA 及其变体在所开展的比较中持续优于其他 PEFT 方法,但效果依赖于目标参数:LoRA 对线性投影矩阵有效,在 SSM 模块上则未奏效,尽管仍优于其他适用于 SSM 的方法。这里的关键研究问题是不同模块是否需要不同的微调机制,而非将同一种低秩更新统一施加到所有参数。摘要未说明 SDT 如何选择稀疏维度、更新哪些参数,以及其训练目标与参数预算。 作者报告,SDT 与 LoRA 的组合在广泛实验中达到最先进性能;但摘要未提供任务、数据集、模型规模、数据划分、对照基线或指标数值,因此尚不能判断优势的适用范围。实验协议、消融及统计信息尚未验证,复现还需核对 SDT 的实现、训练配置与各方法的可训练参数预算。 平台推测(待验证):若 EEG 任务采用预训练 SSM,该模块分工式微调可能对应小数据条件下全量微调成本高、易过拟合的问题。可复用的是 SSM 模块使用 SDT、线性投影使用 LoRA 的适配思路;EEG 的通道输入、时间采样与任务输出仍需改造。原研究面向语言建模背景,具体预训练数据结构、监督方式与规模尚未验证,不能据此推定 EEG 效果。低信噪比、跨被试差异及通道变化可能使稀疏维度选择不稳定。一个可检验的小实验是在固定 EEG 预训练 SSM 和 Cross-subject 划分下,以匹配的可训练参数预算比较 LoRA 与 SDT+LoRA,并检查多次运行的性能与稳定性。相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读其针对 SSM 模块与线性投影矩阵分别选择微调方法的分析,但 SDT 的具体机制及其相对 LoRA 的收益仍需全文核对。

1月23日周四
  1. OpenReview · State space models79

    状态空间模型在动态 token 选择上可证明与 Transformers 相当

    基于摘要分析。该研究探讨状态空间模型(SSMs)结合全连接神经网络后,能否根据输入动态提取关键 token,并在特定任务与函数类下建立其与 Transformers 的能力比较。 核心机制与理论贡献:作者指出,既有理论研究多关注不含非线性层的 SSM 层,难以充分解释 SSM 与非线性模块组合后的能力。本文将研究对象扩展到 SSM 与全连接神经网络的组合;作者报告,这种组合在输入依赖的关键 token 提取能力上可与 Transformers 相当。摘要未给出具体网络结构、动态选择机制、证明假设或复杂度界,不能据此推断任意 SSM 架构均具备同等能力。 任务与结果:作者报告,在两个对单个 SSM 层具有挑战性的合成任务上,加入非线性层的 SSM 能高效求解;此外,在非参数回归问题中,作者证明 SSM 与 Transformers 对某一函数类的估计能力等价。合成任务定义、函数类约束、样本规模、评估指标及比较协议尚未验证,因此这些结论应限定在论文所设条件内,而非推广为一般任务上的性能等价。 平台推测(待验证):若 EEG 任务需要按输入选择少量关键时间片段,该理论可能为评估 SSM 与非线性模块的组合提供依据。但其对 EEG 低信噪比、跨被试变化和小样本条件的适用性尚未验证;需先核对定理对输入结构、监督形式及函数类的要求,再判断是否具备迁移路径。已有 EEG 相关工作尚未检索确认。全文证明、实验协议、消融及统计信息尚未验证。

    阅读价值:值得阅读其关于 SSM 与非线性层组合的理论分析,以核对动态 token 选择和非参数回归中与 Transformers 可比的具体条件,而非将其理解为普遍性能等价。

  2. OpenReview · State space models81

    振荡状态空间模型

    基于摘要分析。研究针对长序列学习中的计算效率、动力学稳定性与长程依赖建模问题,提出 Linear Oscillatory State-Space models(LinOSS),以受迫谐振子系统构建状态空间模型,并通过稳定离散化及快速关联并行扫描实现序列计算。 核心机制与理论:作者以生物神经网络的皮层动力学为启发,报告证明 LinOSS 在对角状态矩阵非负的条件下可产生稳定动力学,并将这一条件与既有状态空间模型的限制性参数化作对照。作者还报告其通用逼近能力,即可按所需精度逼近时变函数之间的连续因果算子;一种隐式—显式离散化则保持底层动力学的时间可逆对称性。上述结论的完整假设、适用范围及证明细节尚未验证,不能直接等同于任意任务上的预测准确性保证。 实验结果:作者报告在中等至超长序列分类、回归及长时域预测任务上优于所比较的先进序列模型;其中,在序列长度为 50k 的一项序列建模任务中,相对 Mamba 和 LRU 的表现接近两倍。摘要未明确该倍数对应的指标、数据集、划分与训练预算,因此不能解释为 Accuracy 翻倍或计算加速。实验协议、消融及统计信息尚未验证;模型规模、预处理与复现资源也需查阅全文。 平台推测(待验证):迁移假设是,振荡状态与稳定长程演化可能有助于 EEG 的节律及长时间上下文建模,但原领域有效不等于 BCI 有效。可考虑复用状态更新与并行扫描,需改造多通道输入及任务读出;低信噪比、非平稳性、被试差异、通道变化和小数据规模均可能削弱收益。可检验的小实验是在固定 EEG 数据划分、预处理及训练预算下,对比 LinOSS、Mamba 与 LRU,分别报告被试内和跨被试的同一任务指标,并考察序列长度变化是否带来稳定收益。已有 EEG 相关工作尚未检索确认。

    阅读价值:LinOSS 将受迫谐振子、稳定离散化与并行扫描结合,值得核对其稳定性条件及长序列建模收益,但摘要中的性能倍数尚需结合具体指标与评估协议验证。

  3. OpenReview · State space models78

    HOPE:长记忆状态空间模型的稳健参数化

    基于摘要分析。本文研究基于线性时不变(LTI)系统的状态空间模型(SSM)为何依赖专门设计的初始化,以及状态矩阵在对数尺度上以很小学习率训练的做法,并提出基于 Hankel operator 理论的参数化方案 HOPE,旨在改善初始化与训练稳定性。 机制上,HOPE 利用 Hankel operators 中的 Markov parameters 对 LTI 系统进行参数化,并通过对 LTI 系统传递函数进行非均匀采样实现高效计算。作者报告,该方案相较于常规 SSM 使用更少参数,并改善训练稳定性。摘要未给出具体参数化公式、采样策略、损失形式或参数量,相关实现条件尚未验证。 实验方面,作者报告,在 Long-Range Arena(LRA)任务上,基于 Hankel operators 参数化的 SSM 相较于采用 HiPPO 初始化的 S4、S4D 表现更好;摘要未提供具体任务分项、指标、数据划分及数值。作者还报告,该参数化具有固定时间窗内不衰减的记忆,并以加入填充噪声的 sequential CIFAR-10 任务提供经验支持。这不等同于无限时长记忆,也不能直接外推为生理信号中的抗噪能力。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其迁移假设是,若 EEG 任务依赖较长时间跨度的有效信息,HOPE 的记忆参数化可能有助于降低长序列训练对初始化的敏感性。原方法依赖时序输入与 LTI 动态建模;迁移时可复用参数化及传递函数采样机制,但需适配多通道 EEG 输入与任务输出。低信噪比可能使长记忆同时保留无关噪声,跨被试差异、通道变化和小数据条件也可能削弱收益。可在一个固定的 EEG 任务与数据划分下,以相同输入处理和训练预算比较 HOPE 与 S4D,并改变有效片段后的噪声填充长度,检验任务指标与训练稳定性是否更稳健。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读的是 HOPE 将长记忆 SSM 的初始化与训练稳定性问题统一到 Hankel operator 参数化视角;作者报告的固定时间窗内不衰减记忆,为评估噪声背景下的长时依赖提供了具体切入点,但 EEG 适用性尚未验证。

  4. OpenReview · State space models78

    面向不规则时间序列的连续状态空间 Feynman-Kac 模型摊销控制

    基于摘要分析。本文研究不规则、离散观测下的连续时间序列建模,提出 Amortized Control of continuous State Space Model(ACSSM),以观测条件化的连续潜在动力学统一支持分类、回归、插值和外推任务。 核心机制是先通过多边缘 Doob's h-transform 构造以不规则观测为条件的连续动力系统,再借助随机最优控制(SOC)理论进行变分推断,近似难以直接求解的 Doob's h-transform 并模拟条件化动力学。作者提出具有紧致证据下界(ELBO)的推断算法,但该下界的具体形式、成立条件及紧致性论证尚未验证。 在计算实现上,ACSSM 使用辅助变量灵活参数化潜在动力学与摊销控制,并结合 simulation-free 潜在动力学框架和基于 transformer 的数据同化方案,使潜在状态推断与 ELBO 计算能够并行进行。这里的关键阅读点是条件化动力学、控制近似与并行推断如何衔接;摘要不足以确定 simulation-free 的具体实现及其与动力学模拟之间的关系。 作者报告,在多种真实世界数据集上的分类、回归、插值和外推评估中,ACSSM 获得更优性能并保持计算效率。摘要未给出数据集名称、划分、对照基线、指标数值或运行资源,故不能判断优势幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能适用于存在缺测或异步采样的 EEG 多模态记录,但原领域结果不等于 BCI 有效。迁移假设依赖可用时间戳和足够观测信息,可复用连续动力学及摊销推断思路,需改造观测模型与通道表示;低信噪比、跨被试差异和小数据可能导致潜在动力学估计不稳定。可在固定被试内划分下,对同一 EEG 数据施加受控缺测,比较 ACSSM 与规则重采样后的基线在插值误差及下游任务指标上的变化。相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读的是其将多边缘 Doob's h-transform、随机最优控制与摊销推断结合,用于不规则观测下的连续潜在动力学建模;性能优势与计算效率仍需结合全文中的评估协议核对。

  5. OpenReview · State space models72

    从层到状态:深度神经网络层动态的状态空间模型视角

    基于摘要分析。本文研究深层神经网络如何复用先前层的信息以增强当前层的特征表示,将各层输出视为连续过程的状态,并提出 Selective State Space Model Layer Aggregation(S6LA),利用 Selective State Space Models(S6)设计层间聚合模块。 核心机制是把状态空间模型(SSM)的建模对象从通常的序列位置转向网络深度方向的层输出。作者认为,既有层聚合方法主要采用离散状态视角,在网络层数增大时存在适用性限制;S6LA 则尝试以序列框架结合传统 CNN 或 transformer 架构。这里的“序列”主要对应层间信息演化,不能直接等同于输入信号的时间序列。连续状态的具体参数化、不同层特征的维度对齐、选择性机制及训练方式均需全文核对。 作者报告,S6LA 在图像分类与检测任务中带来显著改进,但摘要未提供数据集、划分、对照基线、指标或具体数值,因此无法判断改进幅度、计算代价及其对网络深度的依赖。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型存在跨层特征复用不足的问题,可考虑复用 S6LA 的沿深度聚合思路,而非直接把它当作 EEG 时间建模模块。该迁移假设依赖可组织为层序列的中间表示,需要改造不同层的通道数、时间分辨率与特征对齐方式;低信噪比可能使聚合传播噪声,跨被试差异和小数据也可能使选择性机制过拟合。一个可检验的小实验是在固定 EEG 骨干和 Cross-subject 划分下,比较原模型、简单层聚合与 S6LA,并同时记录任务指标、参数量及推理开销。上述仅为验证建议,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 S6LA 如何将沿网络深度的层间聚合建模为状态演化,以及其相对既有层聚合方法的收益与开销;摘要支持视觉任务中的作者报告,尚不能据此确认 EEG 适用性。

1月1日周三
  1. OpenReview · State space models72

    DefMamba:可变形视觉状态空间模型

    基于摘要分析。DefMamba 针对视觉 Mamba 将图像按预定义扫描顺序展平为一维序列、可能难以充分利用空间结构的问题,提出结合多尺度骨干与 deformable mamba(DM)模块的视觉基础模型,通过动态调整扫描路径增强相关输入特征的提取。 核心机制是 deformable scanning(DS)策略:不完全沿固定顺序处理图像,而是动态调整扫描路径,优先处理重要信息。作者认为,这有助于学习图像结构并捕捉物体细节变化。摘要未说明扫描位置如何生成、是否使用额外监督,以及动态扫描与状态空间计算如何衔接;具体损失、训练配置、参数规模和计算开销尚未验证。 作者报告,DefMamba 在 image classification、object detection、instance segmentation 和 semantic segmentation 等视觉任务上达到领先性能,但摘要未提供数据集、划分、基线或指标数值,因此无法评估各任务的收益幅度及效率权衡。实验协议、消融及统计信息尚未验证。摘要称代码已开源,但当前材料不足以核对实现入口、权重及复现条件。 平台推测(待验证):迁移假设是,若 EEG 的通道空间关系与时序变化能够形成有意义的扫描结构,动态扫描可能缓解固定通道或时空遍历顺序对局部相关性的限制。可考虑复用状态空间处理与动态扫描思路,但需改造图像空间坐标、多尺度特征组织和扫描约束。原方法依赖的图像网格结构不能直接等同于 EEG 电极布局;低信噪比可能使扫描路径追随伪迹,跨被试及通道配置变化也可能破坏路径稳定性,小数据则可能增加路径学习的过拟合风险。一个可检验的小实验是在同一 EEG 数据划分、预处理与训练预算下,对比固定扫描与可学习扫描,并检查任务指标、计算开销及噪声扰动下的路径稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对其可变形扫描相较固定扫描顺序的空间结构建模收益与计算开销,但摘要中的领先性能主张及向 EEG 迁移的有效性尚未验证。

  2. OpenReview · EEG72

    EEGDM:基于生成式扩散模型的 EEG 表征学习

    基于摘要分析。该研究针对 EEG 标注有限、信号变异性高导致的表征学习困难,提出生成式扩散表征学习框架 EEGDM,并将预训练得到的潜在 EEG 表征用于下游分类,探索区别于现有 EEG 基础模型的技术路径。 核心机制是用于扩散预训练的结构化状态空间模型 SSMDP:作者以其捕获 EEG 的时间动态,并在 Denoising Diffusion Probabilistic Model(DDPM)框架下训练。随后,作者提出 latent fusion transformer(LFT),利用所得潜在表征完成分类。摘要未说明扩散噪声设定、具体训练目标、潜在表征提取位置及 LFT 的融合方式,这些实现细节尚未验证。 评估采用涉及发作间期癫痫样放电的 TUEV 与涉及癫痫发作检测的 CHB-MIT,并与现有方法及 EEG 基础模型比较。作者报告 EEGDM 优于所比较的方法,但摘要未提供具体指标、数值、基线名单及被试内或跨被试等划分信息,因而尚不能判断优势幅度、统计可靠性或跨协议泛化能力。这些任务属于 EEG 临床事件识别,不能直接视为已验证的 BCI 控制效果。 作者将大型 EEG 基础模型的训练与推理成本、模型增大时收益有限作为研究动机,但摘要并未给出 EEGDM 的参数量、训练开销或推理效率,不能据此确认其计算成本优势。复现时需核对数据预处理、预训练与下游数据的划分关系、分类协议、基线配置以及 SSMDP 和 LFT 的独立贡献;实验协议、消融及统计信息尚未验证。摘要提供了源码与 checkpoint 链接,但其内容、可运行性和复现实验条件尚未核验。

    阅读价值:值得核对其以结构化状态空间模型进行扩散预训练、再融合潜在 EEG 表征的机制,以及相对 EEG 基础模型的分类收益与计算成本;摘要中的性能优势尚需结合完整实验协议验证。

  3. OpenReview · State space models72

    DefMamba:可变形视觉状态空间模型

    基于摘要分析。DefMamba 针对视觉 Mamba 将图像按预定义顺序展平为一维序列、难以充分利用空间结构的问题,提出结合多尺度骨干结构与 deformable mamba(DM)模块的视觉模型。核心贡献是通过 deformable scanning(DS)策略动态调整扫描路径,使特征处理优先关注重要信息。 机制与证据:摘要将空间结构利用不足归因于固定扫描顺序,并以可变形扫描改善图像结构学习和物体细节变化的捕捉。多尺度结构与动态扫描的具体结合方式、路径生成机制、训练目标及计算开销尚未验证。作者将 DefMamba 称为视觉基础模型,但摘要未提供预训练数据、规模或迁移设置,不能据此判断其基础模型能力。 作者报告,在 image classification、object detection、instance segmentation 和 semantic segmentation 等视觉任务上取得 state-of-the-art 性能;摘要未给出数据集、评估划分、指标数值和对照基线,因此无法判断优势幅度或不同任务间的可比性。实验协议、消融及统计信息尚未验证。摘要称代码已开源,但具体仓库、训练配置和复现条件尚未核实。 平台推测(待验证):迁移假设是,将固定扫描改为内容相关扫描,可能改善 EEG 时空特征的选择与整合;这不是已证实的 BCI 效果。原方法依赖图像的空间结构及视觉任务数据,具体监督方式与数据规模未知。可考虑复用动态扫描思想,但需将二维图像空间改造为电极拓扑与时间结构,并约束扫描保留时序关系。低信噪比可能使路径追踪伪迹,跨被试及通道布局差异可能破坏空间对应,小数据可能导致扫描策略过拟合。一个可证伪的小实验是:在相同数据划分、训练预算与骨干配置下,比较固定扫描和电极拓扑约束的动态扫描在 Cross-subject EEG 分类中的表现,同时检查噪声扰动后的路径稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其可变形扫描如何缓解视觉 Mamba 固定扫描顺序对空间结构利用的限制,但性能优势及向 EEG 迁移的可行性尚需核对全文与实验。

  4. OpenReview · State space models72

    DefMamba:可变形视觉状态空间模型

    基于摘要分析。DefMamba 针对视觉 Mamba 将图像按预定义扫描顺序展平为一维序列、可能削弱空间结构利用的问题,提出结合多尺度骨干与 deformable mamba(DM)模块的视觉模型。核心贡献是通过 deformable scanning(DS)动态调整扫描路径,优先处理重要信息,以增强空间结构及目标细节的表征。 机制与证据:摘要将改进归因于动态扫描,而非仅采用固定顺序的序列化。作者报告,DefMamba 在 image classification、object detection、instance segmentation 和 semantic segmentation 任务上达到领先性能;但材料未提供数据集、划分、指标数值、对照模型或计算成本,尚不能判断收益幅度及效率权衡。扫描路径如何生成、是否可微、训练目标,以及多尺度骨干和 DS 的独立贡献,均需查阅全文;实验协议、消融及统计信息尚未验证。作者称代码已开源,但材料未给出可核对的仓库地址,运行环境、配置及权重可用性尚未验证。摘要称其为视觉基础模型,预训练规模与迁移评估范围仍待核对。 平台推测(待验证):迁移假设是,若 EEG 的通道拓扑与时频表示提供稳定的空间结构,内容自适应扫描可能缓解固定序列化难以利用通道关系的问题。可考虑复用动态扫描思想,但扫描坐标、通道邻接及输入编码需针对 EEG 改造;其监督需求和数据规模依赖尚不明确。低信噪比可能使路径追随伪迹,跨被试差异与通道缺失可能破坏结构,小数据也可能使路径学习过拟合。一个可检验的小实验是在同一 EEG 任务、固定 Cross-subject 划分和相同训练预算下,仅替换固定扫描与动态扫描,并比较预先选定的同一指标及通道扰动下的稳定性。该实验只是迁移验证建议,不代表已有 EEG 效果;相关 EEG 工作尚未检索确认。

    阅读价值:值得核对 DefMamba 的动态扫描机制及其相对固定扫描顺序的收益,但摘要中的领先性能主张与向 EEG 迁移的价值均需进一步验证。

  5. OpenReview · State space models70

    用于降雨—径流模拟的深度状态空间模型

    该研究针对降雨—径流模拟中 LSTM 仍占优势的问题,提出采用 Frequency Tuned Diagonal State Space Sequence(S4D-FT)模型作为替代序列建模方法。基于摘要分析,贡献主要是将该状态空间模型用于水文模拟,并与深度学习及物理模型进行对照。 方法与评估:作者在美国本土连续地区(CONUS)的 531 个流域上,将 S4D-FT 与 LSTM、基于物理机制的 Sacramento Soil Moisture Accounting 模型进行比较。作者报告,S4D-FT 在不同地区能够优于 LSTM;摘要未提供具体指标、提升幅度或相对物理模型的结果,因此不能量化优势或判断其适用边界。这里的 531 指流域数量,不代表独立测试流域数量,训练与测试划分尚未验证。 技术核对重点:摘要明确了状态空间序列建模及频率调谐的方法名称,但未展开频率调谐如何实现、输入变量、状态更新、损失函数与训练配置。需进一步核对性能是否来自模型机制,以及对序列长度、流域差异和训练预算的敏感性;实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 平台推测(待验证):可迁移假设是利用状态空间模型处理 EEG 时间序列,并检验频率调谐是否适合任务相关的频谱结构,而非把水文优势直接视为 BCI 优势。原任务依赖降雨—径流时序数据,具体输入结构、监督方式及样本规模尚未验证;迁移时可考虑复用序列建模模块,但需改造多通道输入和任务输出。EEG 的低信噪比、跨被试频谱差异及小数据条件可能使调谐失效或过拟合。一个可证伪的小实验是在固定 EEG 数据划分与训练预算下,对照 S4D-FT、未调谐的 S4D 和 LSTM,检验频率调谐能否稳定带来增益。相关 EEG 工作尚未检索确认。

    阅读价值:值得关注其以 S4D-FT 对照 LSTM 与物理水文模型的序列建模评估,但频率调谐机制、数据划分及性能差异的统计证据仍需全文核对,不能据此推断 EEG 效果。

  6. OpenReview · State space models72

    DefMamba:可变形视觉状态空间模型

    基于摘要分析。DefMamba 针对视觉 Mamba 将图像按预定义扫描顺序展平成一维序列、难以充分利用空间结构的问题,提出结合多尺度骨干与 deformable mamba(DM)模块的视觉模型。其核心贡献是通过 deformable scanning(DS,可变形扫描)动态调整扫描路径,优先处理重要信息,以增强空间结构与目标细节的表征。 机制与结果:摘要将 DefMamba 称为视觉基础模型,但其预训练数据、规模与迁移设置尚未验证。动态扫描改变了特征进入序列处理的次序,而不只是采用固定遍历方式;扫描路径的生成方式、是否可微、训练目标及额外计算开销仍需正文确认。作者报告,DefMamba 在 image classification、object detection、instance segmentation 和 semantic segmentation 等视觉任务上达到领先性能;摘要未提供数据集、指标、划分或对照数值,因此目前无法评估收益幅度及不同任务间的一致性。作者称代码已开源,但材料未提供可核对的仓库地址。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若动态扫描能够根据输入选择有意义的邻接关系,其机制可能用于缓解 EEG 时空序列展平后电极空间关系被弱化的问题;但图像规则网格与 EEG 电极拓扑并不等价。可复用的是 SSM 序列建模与自适应扫描思路,需改造的是电极位置编码、时空扫描约束和重要性估计。低信噪比下扫描可能追随伪迹,跨被试或通道配置变化可能使路径不稳定,小数据也可能不足以学习可靠路径。一个可证伪的小实验是在同一 EEG 任务、固定跨被试划分和匹配训练预算下,仅替换固定扫描与动态扫描,比较任务指标、路径稳定性及计算开销。此项迁移并非作者已验证结果,相关 EEG 工作尚未检索确认。

    阅读价值:值得核对其动态扫描路径如何保留空间结构,以及相对固定扫描的收益与计算代价;摘要中的领先性能结论仍需结合任务协议和对照实验验证。

  7. OpenReview · State space models70

    DSSM:用于人体动作生成的双状态空间模型

    基于摘要分析。该研究面向文本驱动的人体动作生成,针对词级文本描述与关节级动作表示之间特征信息量不均衡、影响潜在空间特征融合的问题,提出 Dual State Space Model(DSSM),通过从粗到细重建融合特征缓解模态间失衡。 机制上,DSSM 包含 Masked State Space Model(MSSM)与 Hierarchical State Space Block(HSSB)两个单元,并引入状态空间模型(SSM)以利用时序信息、降低计算复杂度。摘要未说明掩码对象、层级组织、融合位置、损失函数及训练与推理流程,这些细节尚未验证。作者声称这是首次将 SSM 引入文本驱动的动作序列生成,该优先性尚未独立核实。 作者报告,在 HumanML3D 与 KITML 基准数据集上达到 SOTA 表现;但摘要未提供具体指标、数值、数据划分或对照基线,因此无法判断优势幅度,也无法核对计算复杂度收益。实验协议、消融及统计信息尚未验证。摘要提供了 GitHub 代码地址,但代码完整性、依赖环境及复现条件尚未核验。 平台推测(待验证):其原问题是文本与动作序列的信息量不平衡,机制依赖文本—关节序列的跨模态对应关系;具体监督形式和训练规模尚未明确。假设 EEG 与文本或运动学信号的融合也受到模态信息量失衡影响,可考察粗到细融合重建与 SSM 时序建模的复用价值,但需改造 EEG 输入表示、通道处理及模态对齐方式。低信噪比、跨被试差异、通道配置变化与小数据可能使重建过程偏向更强模态,削弱 EEG 信息。一个可检验的小实验是在固定划分的配对 EEG—运动学任务中,对比常规融合与该重建机制,并通过削弱或移除 EEG 输入检验是否真正利用 EEG;这不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

    阅读价值:值得关注其以 MSSM 与 HSSB 从粗到细重建文本—动作融合特征的机制,但作者报告的性能优势及其对 EEG 多模态融合的适用性尚需分别核对与验证。

  8. OpenReview · State space models72

    用于图像去模糊的高效视觉状态空间模型

    基于摘要分析。该研究针对高分辨率图像去模糊中长程依赖建模与计算成本之间的矛盾,提出高效视觉状态空间模型 EVSSM,以视觉扫描模块获取非局部信息,并用频域前馈网络 EDFFN 表征局部信息。 核心机制:摘要指出,ViTs 的计算复杂度随图像分辨率呈二次增长,而现有部分视觉 SSM 方法采用多个固定方向扫描,也会增加计算成本。EVSSM 在各 SSM 模块之前应用不同几何变换,以捕获有用的非局部信息并维持效率;EDFFN 则估计有助于恢复潜在清晰图像的频率信息。具体几何变换、扫描路径、频域运算、损失函数及训练配置尚未验证,不能据摘要确定其复杂度或参数规模。 结果与证据边界:作者报告,EVSSM 在基准数据集和真实图像上相较先进方法表现有利。摘要未提供数据集名称、划分、对照方法、评价指标、数值或运行硬件,因此尚不能量化质量与效率的权衡;实验协议、消融及统计信息尚未验证。 平台推测(待验证):迁移假设是,SSM 的长程建模与频率信息筛选可能用于 EEG 时序去噪,但图像去模糊的二维空间结构及清晰图像恢复目标不能直接等同于 EEG。可考虑复用 SSM 与频域处理思路;扫描和几何变换需依据时间轴、通道拓扑改造,并明确干净信号或其他监督来源。低信噪比下的频率筛选可能误抑制任务相关活动,跨被试差异、通道排列变化及小数据训练也可能削弱效果。一个可检验的小实验是,在固定被试划分和受控噪声条件下,对比 SSM 基线、加入 EDFFN 的版本及改造扫描的版本,同时检查信号恢复与下游任务指标,避免仅凭重建质量判断 BCI 价值。已有相关 EEG 工作尚未检索确认。

    阅读价值:值得关注其通过几何变换组织 SSM 扫描、结合频域前馈网络处理非局部与局部信息的机制,但效率优势、去模糊收益及 EEG 迁移价值仍需核对全文或实验验证。

  9. OpenReview · State space models71

    SSMLoRA:利用状态空间模型增强低秩适应

    基于摘要分析。SSMLoRA 针对语言模型参数高效微调中 LoRA 表现随插入位置变化、部分插入可能造成参数冗余的问题,引入状态空间模型(SSM)连接低秩矩阵,使适配过程能够利用前一低秩空间的计算,并支持更稀疏的插入。 机制上,摘要描述了输入到低秩空间的映射,以及低秩空间之间的计算复用;其目标不仅是减少可训练参数,还包括减少不必要的适配模块插入。SSM 状态如何传递、低秩矩阵如何连接、插入位置如何选择,以及训练损失与推理开销,均需全文核对,不能仅凭摘要确定具体结构。 作者报告,在 General Language Understanding Evaluation(GLUE)benchmark 上,SSMLoRA 使用 LoRA 一半的适配参数即可取得相当表现;这一结论限于摘要所述 GLUE 对照,基础模型、各任务指标、数据划分、低秩维度及参数统计口径尚未验证。作者还认为其结构有望处理更长输入序列,但摘要未提供长序列实验结果,因此不能视为已验证优势。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接,代码完整性与可复现性仍待检查。 平台推测(待验证):若 EEG 预训练模型采用多处 LoRA 适配,可假设低秩空间之间的状态传递有助于减少插入点。可复用的是低秩适配与状态连接思路,需改造的是 EEG 骨干接口、跨模块状态定义及通道布局适配。该假设依赖可适配的预训练骨干和足够的任务监督;低信噪比、跨被试差异、通道变化及小样本可能使共享状态传播噪声或产生过拟合。一个可证伪的小实验是在固定跨被试划分与同一 EEG 骨干上,对比常规 LoRA、稀疏 LoRA 和 SSMLoRA,同时控制可训练参数预算与训练条件,检验收益是否来自状态连接而非参数配置。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得核对 SSM 连接低秩空间是否能降低 LoRA 对插入位置的敏感性:作者报告在 GLUE 上以一半适配参数取得相当表现,但具体参数口径、插入方案与评估协议尚未验证。

10月10日周四
  1. OpenReview · State space models77

    状态空间模型的参数高效微调

    基于摘要分析。本文研究深度状态空间模型(SSMs,如 Mamba)中的参数高效微调(PEFT),比较既有方法的适用性,并分析哪些模块适合微调;在此基础上提出 LoRA with Selective Dimension tuning(SDLoRA),将线性投影矩阵上的 LoRA 与 SSM 模块内的选择性维度更新结合。 作者对四种基础 PEFT 方法进行了经验评估,报告 prompt-based 方法(如 prefix-tuning)在所研究的 SSM 模型与实验条件下不再有效,并提供理论分析支持;相比之下,LoRA 仍然有效。进一步的理论与实验分析表明,在其比较设置中,将 LoRA 应用于线性投影矩阵、而不修改 SSM 模块,效果最佳;作者同时报告,直接用 LoRA 调整 SSM 模块并不有效。这一结论针对具体微调方式,不等于 SSM 内部参数完全不值得更新。 SDLoRA 的机制是在 SSM 模块中选择性更新部分通道和状态,同时对线性投影矩阵应用 LoRA。作者报告该方法优于标准 LoRA,但摘要未给出数据集、任务组成、模型规模、可训练参数预算、指标或提升幅度;维度选择规则、训练配置、实验协议、消融及统计信息尚未验证。复现时需核对各方法的参数预算与训练条件,以及理论结论适用的模型假设。 平台推测(待验证):若 EEG 任务已有可用的预训练 SSM,该方法可能为小数据微调提供候选方案;但原研究针对语言建模背景下的 SSM,不能据此认定其对 EEG 有效。迁移假设是选择性更新状态维度能够适应 EEG 时序差异,同时限制可训练参数规模。可复用部分是投影矩阵上的 LoRA 与选择性维度更新,需改造 EEG 输入表征及任务输出模块;低信噪比、跨被试差异和通道配置变化可能使所选维度失效。可在固定跨被试划分与匹配可训练参数预算的条件下,小规模比较标准 LoRA 与 SDLoRA,并检查多次运行的稳定性。相关 EEG 工作尚未检索确认。

    阅读价值:值得阅读其关于 LoRA 在 SSM 内部模块与线性投影矩阵上效果差异的理论和实验分析,为选择参数高效微调的位置提供依据,但具体评估协议与效果幅度尚未验证。

9月27日周五
  1. OpenReview · EEG74

    EEGMamba:结合混合专家的双向状态空间模型用于 EEG 多任务分类

    基于摘要分析。该研究针对 EEG 分类中长序列建模的计算开销,以及不同任务之间信号长度、通道数不一致带来的适配问题,提出 EEGMamba,将 Spatio-Temporal-Adaptive(ST-Adaptive)模块、双向 Mamba 和 Mixture of Experts(MoE)整合为多任务分类框架。 机制上,ST-Adaptive 通过空间自适应卷积对不同长度与通道数的 EEG 进行统一特征提取,并引入 class token 实现时间维度适配;双向 Mamba 用于进一步提取 EEG 特征,旨在兼顾长序列处理的分类表现、推理速度与内存使用;任务感知 MoE 配置通用专家,以建模不同 EEG 任务之间的差异与共性。摘要未提供这些模块的具体结构、专家路由方式、损失函数或多任务训练流程,相关细节尚未验证。 作者报告在八个公开 EEG 数据集上开展评估,覆盖癫痫发作检测、情绪识别、睡眠分期分类和运动想象四类任务,并报告具有性能优势;但摘要未列出数据集名称、被试数、数据划分、对照基线或具体指标,因此尚不能判断优势对应被试内、跨被试、跨会话还是跨数据集协议,也不能将多任务学习直接等同于对未见任务的泛化。作者将其称为首个真正实现 EEG 多任务学习的通用分类网络,该优先性主张尚未检索确认。 复现时需核对不同任务是否联合训练、任务信息如何用于 MoE 路由、通道与长度适配的实现,以及各模块的消融结果;推理速度和内存优势还需结合硬件、输入长度及比较基线核验。实验协议、消融及统计信息尚未验证。材料仅表示代码计划近期发布,不能据此确认代码或预训练权重已公开。

    阅读价值:值得阅读的是 EEGMamba 将长度与通道适配、双向状态空间建模及任务感知专家机制组合用于 EEG 多任务分类,但其多任务训练协议、性能优势和计算效率仍需全文核对。

  2. OpenReview · State space models75

    MatMamba:一种 Matryoshka 状态空间模型

    基于摘要分析。MatMamba 研究如何让单个状态空间模型适应不同推理计算预算,将 Matryoshka 式学习与 Mamba2 结合,通过修改模型块以包含嵌套维度,实现不同规模子模型的联合训练与自适应推理。 核心机制是从一个训练完成的大模型中提取多个较小的嵌套子模型,而非为每种部署规模分别训练模型。摘要将其与 Matryoshka Representation Learning 及其在 Transformer 骨干上的应用 MatFormer 联系起来;具体维度嵌套方式、训练目标、子模型采样策略和推理规模选择规则尚未验证。 作者报告,在参数规模为 35M 至 1.4B 的语言与图像模型实验中,嵌套小模型能够保持或超过从头训练的小模型基线的性能。作者还报告,ImageNet 和 FineWeb 上的结果显示 MatMamba 具有与 Transformers 相近的扩展表现,并具备更高效的推理特性。摘要未提供具体指标、计算预算、硬件、数据划分或延迟数值,因此不能量化性能收益或推理加速;实验协议、消融及统计信息尚未验证。“免费”获得子模型应理解为不必逐个从头训练,不代表联合训练或部署没有额外开销。 平台推测(待验证):若 EEG 时序任务需要在不同设备计算预算间部署,嵌套子模型可能提供可复用的弹性容量机制。该假设依赖共享模型在不同容量下仍能学习有效时序表征;原摘要的语言与图像实验不能直接证明 EEG 效果。可复用部分是 Mamba2 中的嵌套维度与联合训练思路,EEG 输入编码、通道组织及任务输出模块则需改造。低信噪比、跨被试差异、通道变化和小数据条件可能使较小子模型丢失有效信息。一个可检验的小实验是在固定 EEG 任务及 Cross-subject 划分下,比较联合训练的嵌套子模型与相应规模的独立训练基线,同时记录任务指标、参数量和同一硬件上的推理延迟。已有 EEG 相关工作尚未检索确认。

    阅读价值:值得阅读其将 Matryoshka 式嵌套维度引入 Mamba2、联合训练多种规模子模型的机制,并核对弹性推理的性能—计算开销权衡;摘要尚不足以验证实际加速幅度或 EEG 适用性。