跳到正文
OpenReview · State space models· Wonjun Kang; Kevin Galim; Yuchen Zeng; Minjae Lee; Hyung Il Koo; Nam Ik Cho·· 2025-12-31精选AI 评分72

State-offset Tuning:面向状态空间模型的基于状态的参数高效微调

State-offset Tuning: State-based Parameter-Efficient Fine-Tuning for State Space Models

AI 导读

基于摘要分析。本文研究 State Space Models(SSMs)的参数高效微调(PEFT),提出直接调整状态相关特征的 state-based methods,并引入 State-offset Tuning,在每个时间步直接影响当前状态。主要研究对象是通用 SSM 的任务适配,而非 EEG 或 BCI。 机制与对照:作者指出,SSMs 可缓解 Transformers 的二次计算成本,但常用于 Transformers 的 Prompt Tuning 和 Prefix-Tuning 在 SSMs 上表现不佳。所提方法不依赖外部提示,而是利用 SSM 的状态结构进行适配。摘要尚未说明状态偏移的参数化方式、注入位置、可训练参数范围、损失函数及训练与推理开销,不能据此判断其具体实现或性能优势来源。 证据与复现:作者报告在多种数据集上的广泛实验支持方法有效性,但摘要未提供任务、数据集名称、划分协议、基线配置或数值结果,无法量化收益。材料提供了代码地址,但代码内容、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若已有面向 EEG 序列的预训练 SSM,状态级适配可能成为跨被试或跨会话适配的一种候选机制。该假设依赖可访问的内部状态、兼容的信号输入与目标任务监督;可考虑复用状态适配模块,但需核对通道编码、采样率和序列长度的匹配。低信噪比、通道变化及小样本监督可能使状态偏移拟合噪声或被试特异模式,原领域有效不等于 BCI 有效。一个可检验的小实验是在固定 EEG 编码器和预训练 SSM 的条件下,采用一致的跨被试划分与目标被试标注预算,对比 State-offset Tuning、Prompt Tuning 和仅训练任务头,评估相同任务指标及可训练参数量。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的具体原因是其将 SSM 的参数高效微调作用点从外部提示转向内部状态,可用于考察架构匹配的适配机制;具体效果及向 EEG 的迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net