跳到正文
OpenReview · State space models· Zelin Peng; Zhengqin Xu; Zhilin Zeng; Xiaokang Yang; Wei Shen·· 2024-01-01精选AI 评分72

SAM-PARSER:通过参数空间重构高效微调 SAM

SAM-PARSER: Fine-Tuning SAM Efficiently by Parameter Space Reconstruction

AI 导读

基于摘要分析。本文研究 Segment Anything Model(SAM)在不同场景下游图像分割任务中的高效微调,提出 SAM-PARSER:通过矩阵分解提取原参数空间的基底,微调组合系数以重构适配新场景的参数空间,而非主要依赖新增参数改变原参数空间。 核心假设是 SAM 的原参数空间相对完备,其基底能够通过适当的线性组合表达新场景所需的参数空间。相较于引入额外适配参数的方法,SAM-PARSER 将优化对象转向基底的组合系数。摘要称其微调时引入近乎零的可训练参数,但仍明确需要优化系数,因此不能理解为完全无需训练;具体矩阵分解方式、作用于哪些权重、基底是否固定、系数规模及训练损失尚未验证。 作者报告,在多种图像分割场景中,SAM-PARSER 取得更优分割表现,且相较于所比较的参数高效微调方法,可训练参数数量约缩减 290 倍。摘要未列出具体数据集、划分、评价指标和对照方法,因此这一比例仅能保留为作者在所用实验条件下的报告,不能等同于训练时间、显存或推理开销降低相同倍数。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是利用预训练权重的基底约束域适应,而不是直接将图像分割模型用于 BCI。若 EEG 基础模型的预训练权重已覆盖目标任务所需表征,可尝试复用矩阵分解与系数微调模块;需针对 EEG 模型权重形状、通道配置和任务输出改造。该假设依赖原参数空间的覆盖能力,低信噪比、跨被试差异、通道变化及小样本系数拟合均可能使其失效。一个可检验的小实验是在同一 EEG 预训练模型和固定跨被试划分下,对比系数微调、常规参数高效微调及全量微调,控制训练预算并记录同一任务指标与可训练参数量。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以原参数空间基底重构替代新增适配参数的机制,以及作者报告的可训练参数压缩是否在相同分割任务与对照协议下保持性能。

来源:OpenReview · State space models · openreview.net