跳到正文
OpenReview · State space models· Jiayang Yu; Yihang Zhang; Bin Wang; Peiqin Lin; Yongkang Liu; Shi Feng·· 2025-01-01精选AI 评分71

SSMLoRA:利用状态空间模型增强低秩适应

SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model

AI 导读

基于摘要分析。SSMLoRA 针对语言模型参数高效微调中 LoRA 表现随插入位置变化、部分插入可能造成参数冗余的问题,引入状态空间模型(SSM)连接低秩矩阵,使适配过程能够利用前一低秩空间的计算,并支持更稀疏的插入。 机制上,摘要描述了输入到低秩空间的映射,以及低秩空间之间的计算复用;其目标不仅是减少可训练参数,还包括减少不必要的适配模块插入。SSM 状态如何传递、低秩矩阵如何连接、插入位置如何选择,以及训练损失与推理开销,均需全文核对,不能仅凭摘要确定具体结构。 作者报告,在 General Language Understanding Evaluation(GLUE)benchmark 上,SSMLoRA 使用 LoRA 一半的适配参数即可取得相当表现;这一结论限于摘要所述 GLUE 对照,基础模型、各任务指标、数据划分、低秩维度及参数统计口径尚未验证。作者还认为其结构有望处理更长输入序列,但摘要未提供长序列实验结果,因此不能视为已验证优势。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库链接,代码完整性与可复现性仍待检查。 平台推测(待验证):若 EEG 预训练模型采用多处 LoRA 适配,可假设低秩空间之间的状态传递有助于减少插入点。可复用的是低秩适配与状态连接思路,需改造的是 EEG 骨干接口、跨模块状态定义及通道布局适配。该假设依赖可适配的预训练骨干和足够的任务监督;低信噪比、跨被试差异、通道变化及小样本可能使共享状态传播噪声或产生过拟合。一个可证伪的小实验是在固定跨被试划分与同一 EEG 骨干上,对比常规 LoRA、稀疏 LoRA 和 SSMLoRA,同时控制可训练参数预算与训练条件,检验收益是否来自状态连接而非参数配置。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 SSM 连接低秩空间是否能降低 LoRA 对插入位置的敏感性:作者报告在 GLUE 上以一半适配参数取得相当表现,但具体参数口径、插入方案与评估协议尚未验证。

来源:OpenReview · State space models · openreview.net