跳到正文

算法、任务与模态

PEFT 最新动态

PEFT 研究索引；按可核对的标签归档，不以热度评价质量。

42 条精选近 30 天 34 条共收录 48 条

更新

精选归档 · 第 3 页

9月18日周三第 41–42 条
  1. OpenReview · State space models78

    状态空间模型的参数高效微调

    基于摘要分析。本文研究 Mamba 等深度状态空间模型（SSMs）的参数高效微调（PEFT），重点比较现有方法的适用性及微调模块的选择，并提出 LoRA with Selective Dimension tuning（SDLoRA），将线性投影矩阵上的 LoRA 与 SSM 模块中部分通道和状态的选择性更新结合。 作者报告，在 SSM 模型上对四种基本 PEFT 方法进行经验评估后，prompt-based 方法（如 prefix-tuning）效果不佳，理论分析也支持这一观察；相比之下，LoRA 仍然有效。针对 LoRA 的应用位置，作者报告，理论与实验均支持仅将 LoRA 应用于线性投影矩阵、而不修改 SSM 模块的配置效果最好，直接以 LoRA 微调 SSM 模块则效果不佳。SDLoRA 并非在 SSM 模块中简单增加 LoRA，而是对其中部分通道和状态进行选择性更新，同时保留投影矩阵上的 LoRA。作者报告，该组合优于标准 LoRA，但摘要未提供具体任务、数据集、指标或增益幅度。 需核对的关键细节包括：四种 PEFT 方法的完整设置、通道与状态的选择规则、可训练参数预算及其匹配方式，以及理论结论的适用条件。实验协议、消融及统计信息尚未验证，不能据此判断其在不同模型规模或任务上的普适性。 平台推测（待验证）：若已有预训练 EEG SSM 编码器，该机制可能用于缓解跨被试适配中训练样本有限、全量微调成本较高的问题。可复用的是投影矩阵 LoRA 和 SSM 维度选择性更新的思路；需改造的是 EEG 输入映射、任务输出头及维度选择策略。其原始论证背景为语言建模中的 SSM，摘要未说明依赖的预训练规模或下游监督条件；低信噪比、通道配置变化和个体差异可能使所选维度不稳定。一个可证伪的小实验是在固定预训练编码器和 Cross-subject 划分下，以匹配的可训练参数预算比较投影矩阵 LoRA 与 SDLoRA，并检查多次运行的稳定性。已有 EEG 相关工作尚未检索确认。

    阅读价值：该研究通过经验比较与理论分析区分 SSM 模块和线性投影矩阵的微调适用性，为复现 Mamba 类模型的 PEFT 提供了具体切入点，但实验协议与性能增益尚待全文核对。

9月20日周三
  1. OpenReview · EEG72

    BELT-2：面向多任务脑解码的 EEG—语言表征自举对齐

    BELT-2 研究如何将 EEG 表征与语言表征对齐，并连接大语言模型（LLMs）以支持多任务脑解码；核心方法结合 BPE 级对齐、多任务 EEG 编码器与 prefix-tuning。基于摘要分析，未取得论文全文。 技术机制方面，作者采用 byte pair encoding（BPE）级 EEG—语言对齐，并在 EEG 领域联合进行多任务训练与解码；随后利用 EEG 编码器的中间输出，通过 prefix-tuning 连接 LLMs。该设计将 EEG 表征学习与语言生成接口结合，但摘要未说明 EEG 与 BPE 单元的对应构造、对齐损失、多任务的具体组成、LLM 型号，以及训练时哪些模块冻结或更新，相关细节尚未验证。 结果方面，作者报告在 ZuCo 数据集上获得 BLEU-1 为 52.2% 的解码结果，但摘要未提供数据划分、被试内或跨被试协议及对照基线，因此不能据此判断跨被试泛化能力。作者还报告在其他翻译基准上提升 31%–162%，但未明确基准名称、指标、对照方法及提升的计算口径，不能将其解释为准确率或百分点提升。作者声称该方法能够从非侵入式脑信号解码连贯、可读的句子，并声称相关设计具有首次性；这些主张尚需正文与既有工作核对。 复现时需核对 EEG 预处理、EEG—文本配对方式、训练与测试划分、多任务监督来源，以及文本生成阶段是否使用额外文本条件。尤其应区分 EEG 提供的信息与 LLM 语言先验对生成质量的贡献；摘要不足以确定这一贡献分解。实验协议、消融及统计信息尚未验证。摘要称代码可通过匿名链接获取，但当前材料未给出该链接，代码可访问性与复现条件尚未验证。

    阅读价值：值得阅读的具体原因是 BELT-2 将 BPE 级 EEG—语言表征对齐、多任务训练与 LLM prefix-tuning 结合，可用于考察语言先验与 EEG 表征对文本解码的各自贡献，但其评估协议与提升幅度仍需全文核对。