跳到正文
OpenReview · State space models·· 29 天前精选AI 评分77

ReFract:通过可分解的微调残差实现模型重定盆

ReFract: Model Re-basin through Decomposable Fine-Tuning Residuals

AI 导读

基于摘要分析。ReFract 研究视觉与语言模型之间的任务能力迁移:不直接匹配不同架构的权重,而是迁移微调引起的末层隐藏表征变化,即功能残差,以降低重新训练目标模型的需求。 核心机制是将供体模型的微调限制在 neural tangent kernel(NTK)机制下。作者指出,常规非线性微调的功能残差混合了参数更新之间的高阶交互;在其 NTK 条件下,残差可按参数精确加性分解,进而隔离各层的功能贡献。实际迁移先将这些激活残差映射到目标模型的特征空间,再训练逐层预测器,以目标模型冻结的中间激活为输入,预测迁移后的修正量。摘要未提供 NTK 条件的具体实现、特征空间映射方式及跨架构层对应规则。 作者报告,在视觉与语言模型的能力迁移评估中,该方法达到最先进表现,且仅使用原始数据集的少量样本即可接近目标模型的全数据微调效果。摘要未给出数据集、模型组合、样本量、指标或对照结果,因此上述结论的适用范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若不同 EEG 编码器处理相同输入且能建立表征与层级对应,可检验将任务微调的功能残差迁移到冻结目标编码器这一假设;原领域结果不等于 BCI 有效性。可复用的是残差分解与修正预测思路,需改造通道及时间维度对齐,并核对 NTK 近似是否成立。低信噪比、跨被试分布差异、通道不一致及小样本均可能使残差估计或映射失效。一个小规模检验是在固定 Cross-subject 划分、相同标注预算下,对比残差迁移、冻结编码器加分类头及目标模型微调;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核查的是 ReFract 如何利用 NTK 条件下可加分解的微调残差实现跨架构能力迁移,以及少样本迁移接近目标模型全数据微调的结论在何种对齐与评估条件下成立。

来源:OpenReview · State space models · openreview.net