跳到正文
OpenReview · State space models· Zelin Peng; Zhengqin Xu; Zhilin Zeng; Xiaokang Yang; Wei Shen·· 2024-01-01精选AI 评分72

SAM-PARSER:通过参数空间重构高效微调 SAM

SAM-PARSER: Fine-Tuning SAM Efficiently by Parameter Space Reconstruction

AI 导读

基于摘要分析。该研究针对 Segment Anything Model(SAM)在不同场景下的图像目标分割适配问题,提出 SAM-PARSER:不以新增大量参数来修改原模型参数空间,而是利用原参数空间的基底,通过微调组合系数重构适合新场景的参数空间。 核心机制是一个明确的假设:SAM 原有参数空间相对完备,其基底能够用于重构新场景所需的参数空间。方法通过矩阵分解获取基底,再优化基底的线性组合系数。摘要将其描述为微调时引入近乎零的可训练参数,但仍明确需要训练组合系数,因此不能理解为完全无需训练。具体分解方法、作用于哪些权重、基底是否固定、优化目标及训练流程尚未验证。 作者报告,在所评估的多种分割场景中,SAM-PARSER 获得更优的分割表现,并相较所比较的现有参数高效微调方法,将可训练参数数量缩减约290倍。摘要未给出场景与数据集名称、数据划分、分割指标、具体对照方法或参数计数口径,因此该数字仅适用于作者所述比较,不能推广为训练显存、计算量或推理延迟的同等缩减;实验协议、消融及统计信息尚未验证。 平台推测(待验证):基底重构机制可能用于探索 EEG 预训练模型在小数据跨被试适配中的参数高效微调,但这是假设,并非该论文验证的 EEG/BCI 结果。可复用的是权重矩阵分解与组合系数优化思路,需要改造的是承载 EEG 时序和通道结构的模型及其任务损失;其有效性依赖预训练权重所含基底能否覆盖目标被试差异,监督需求与预训练规模要求尚未验证。低信噪比、通道布局变化和较大的被试差异可能使原基底表达不足。一个可证伪的小实验是在固定 EEG 预训练模型和跨被试划分下,以相同目标被试标注预算比较系数微调、冻结模型与现有参数高效微调方法,同时记录任务指标和可训练参数量。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其通过矩阵分解与基底系数微调实现参数空间重构的机制,以及作者报告的约290倍可训练参数缩减所对应的分割任务、对照方法与性能权衡。

来源:OpenReview · State space models · openreview.net