Spectral Adapter：谱空间中的微调

基于摘要分析。该研究面向预训练深度神经网络的参数高效微调（PEFT），探索如何将预训练权重矩阵的谱信息纳入适配过程。核心方法是先对权重进行 Singular Value Decomposition（SVD，奇异值分解），再在主导谱空间中微调，以增强低秩适配器的表达能力。 摘要描述了两种谱适配机制：加性微调，以及对主导奇异向量进行正交旋转。作者报告，理论分析表明，在固定可训练参数预算下，该方法能够提高低秩适配器的秩容量。此处的理论结论不应直接等同于所有任务上的性能提升；具体适配公式、谱空间选取规则、理论假设、训练目标和推理开销尚未验证。 作者报告，实验显示该方法改善了参数效率和微调性能，并有利于多适配器融合。摘要未提供任务、数据集、对照方法、参数预算或指标数值，因此无法判断收益大小及适用边界；实验协议、消融及统计信息尚未验证。摘要表示源代码将开源，不能据此认定代码已经公开。来源栏目名称也不能作为该方法已在 State space models 上验证的证据。 平台推测（待验证）：其可迁移机制是利用预训练权重的谱结构约束少量参数更新，可能对应 EEG 预训练模型在小样本适配中的参数效率需求。该假设依赖已有可用的预训练模型，以及主导奇异方向包含目标任务所需信息；可复用 SVD 与谱空间适配思路，但需按 EEG 模型的权重形状和通道处理方式改造。低信噪比、跨被试分布差异或通道变化可能使关键任务信息不位于主导谱空间，小数据也可能导致适配过拟合。一个可检验的小实验是在固定 Cross-subject 划分、相同预训练权重和可训练参数预算下，对比 Spectral Adapter 与常规低秩适配器，并核对多次运行的同一任务指标及计算开销。已有 EEG 相关工作尚未检索确认。