神经网络函数空间距离的高效参数化近似

基于摘要分析。本文研究如何在不保存或反复遍历完整训练集的情况下，估计两个神经网络在训练集上的平均输出差异，即 Function Space Distance（FSD）。作者提出 Linearized Activation Function TRick（LAFTR），为 ReLU 神经网络构造紧凑的 FSD 参数化近似，并将其用于持续学习、影响函数估计和错误标签样本检测。 核心机制是将网络近似为带有随机门控的线性网络，以少量参数概括与训练数据有关的函数行为。摘要明确该近似每个网络单元只需一个参数，但未给出门控分布、参数估计方式、具体输出差异度量或近似误差条件；这些内容需通过全文核对，不能将其理解为对任意网络和数据分布均成立的精确距离。 作者报告，该方法优于内存需求更大的其他参数化近似；在持续学习应用中，与需要保存大量训练样本的先进非参数化近似具有竞争力。作者还报告，它能够准确估计影响函数，并在避免昂贵的全数据集迭代的情况下检测错误标签样本。摘要未提供数据集、任务划分、对照方法名称和量化结果，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其与 EEG 的具体对应点是持续学习中的旧任务输出保持，而不是神经信号特征提取本身。假设旧会话数据上的 FSD 可被紧凑摘要稳定近似，LAFTR 或可用于衡量模型更新前后的功能变化。可复用的是 ReLU 网络的距离近似机制；需改造或核对的是 EEG 输出任务、旧会话数据摘要的构建方式及其与持续学习目标的结合。低信噪比、小样本和跨会话分布变化可能使摘要不能充分代表旧数据，通道变化也可能破坏输入对应关系。 一个可检验的小实验是在固定通道的 EEG Cross-session 设置中，以保留旧会话样本直接计算的 FSD 为参照，比较 LAFTR 的距离估计误差与存储开销，再评估其用于持续学习时的旧会话性能保持情况。该实验建议不是本文已验证结果；相关 EEG 工作尚未检索确认。