用于 Transformer 持续学习的函数空间距离近似

基于摘要分析。该研究关注神经网络在训练、微调或编辑过程中函数行为的变化，提出 LInearized Function TRick（LIFTR），利用预计算的数据激活统计量估计函数空间距离（FSD），以减少估计时对原始数据集的访问需求，重点面向 Transformer。 FSD 定义为给定数据分布下网络输出差异平方的期望。已有 Linearized Activation Function TRick（LAFTR）针对具有 ReLU 激活的线性网络采用特定近似；作者将其扩展为更通用的 LIFTR，把 FSD 估计分解为矩传播，并通过模块化实现支持更一般的函数与架构。这里的“无数据”是估计阶段仅使用预计算激活统计量，不意味着整个流程无需数据；统计量的采集方式、存储成本和更新条件尚未验证。 在模块算术持续学习任务上，作者报告：LIFTR 的随机变体接近 oracle 性能，并优于参数空间线性化基线；其 FSD 估计与 oracle FSD 高度相关，所产生的梯度也比竞争方法更对齐。作者还报告，相较全局参数空间线性化，LIFTR 随网络深度增加的性能退化更平缓。摘要未给出具体分数、数据划分或模型配置，oracle 的构造、梯度对齐指标、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：假设预计算统计量能代表后续 EEG 数据分布，这种函数变化估计可用于评估持续学习更新对既有解码行为的扰动。可复用部分是矩传播式 FSD 估计；需要改造的是 EEG 输出差异的定义、统计量采集及更新策略。低信噪比、跨被试与通道变化可能使统计量失配，小数据也可能使矩估计不稳定。一个可检验的小实验是在固定通道的跨会话 EEG 解码中，用历史会话预计算统计量，比较 LIFTR、参数空间线性化与直接数据估计的 FSD 及梯度对齐，并核对其与旧会话性能变化的关系。已有 EEG 相关工作尚未检索确认，以上不是已验证的 BCI 结果。