跳到正文
OpenReview · State space models· Chongjie Si; Xuehui Wang; Xue Yang; Zhengqin Xu; Qingyun Li; Jifeng Dai; Yu Qiao; Xiaokang Yang; Wei Shen·· 2024-01-01精选AI 评分77

FLoRA:面向 N 维参数空间的低秩核心空间

FLoRA: Low-Rank Core Space for N-dimension

AI 导读

基于摘要分析。本文研究预训练基础模型的参数高效微调,针对现有低秩更新方法主要处理线性权重、将高维参数展平后分解可能破坏其结构的问题,提出适用于不同维数参数空间的 FLoRA 框架。研究对象是通用基础模型的权重适配,而非 EEG 或 BCI 解码。 其核心机制是利用 Tucker 分解,以低秩核心张量及各维对应的因子权重表示参数更新,再重建原始 N 维空间中的变化。作者将这一设计描述为保留原参数空间的拓扑结构,同时实现低秩张量分解。相较先把高维更新压缩为二维矩阵的方法,其方法动机是直接建模多维结构;但结构保留的具体定义、分解秩选择、可训练参数配置及训练目标尚未验证。 作者报告,在计算机视觉、自然语言处理和多模态任务上的广泛实验支持 FLoRA 的有效性。摘要未提供具体模型、数据集、对照基线、指标数值或资源开销,因此不能据此判断收益幅度及适用边界。摘要提供了代码地址,但实现细节、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若预训练 EEG 模型包含具有明确多维结构的权重,FLoRA 或可作为小数据微调的参数化方案。可复用部分是 Tucker 形式的更新表示,需改造或选择的是适配层、各维分解秩及训练设置;它依赖可适配的预训练权重和下游任务训练数据,而非直接对 EEG 信号作张量分解。低信噪比、跨被试差异、通道变化或过强的低秩约束都可能限制收益。一个可检验的小实验是在固定跨被试划分、相同主干和近似可训练参数预算下,对比 FLoRA、展平后的低秩更新与全参数微调,同时记录任务指标及训练资源开销。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 FLoRA 如何利用 Tucker 分解保留高维权重更新的张量结构,以及这一设计相较展平后低秩分解的收益;其对 EEG 模型微调的价值尚未验证。

来源:OpenReview · State space models · openreview.net