微调中的参数空间对称性

基于摘要分析。本文研究参数高效微调中的表示冗余：向冻结模型引入结构化可训练参数后，不同参数设置可能表示完全相同的函数。作者刻画了多头注意力中 LoRA、prefix tuning 和 prompt tuning 的参数空间对称性，以明确这些参数化方式中的冗余。 核心分析对象是参数设置之间的函数等价关系，而非直接提出新的微调算法或报告任务性能提升。作者认为，这些结果可为线性模式连通性和模型合并研究提供基础：考虑对称性，有助于区分真正的功能差异与仅由参数表示不同产生的差异。摘要未给出具体对称变换、推导条件或合并方法，因此不能据此断言对称性处理必然改善插值路径或合并性能；理论细节、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 基础模型采用与本文分析条件相符的多头注意力及上述微调方式，参数对称性可能帮助解释不同微调结果之间的表示差异。可复用的是函数等价关系的分析思路，具体变换仍须依据全文核对；它本身并不解决 EEG 的低信噪比、通道差异或跨被试分布变化。一个小规模可检验实验是，在固定模型和输入上应用理论允许的等价参数变换，先核对输出是否保持一致，再观察参数插值或合并结果是否改变。上述 EEG 用途并非作者已验证结果，已有 EEG 相关工作尚未检索确认。