可线性化模型的影响函数对偶表示
A Dual Representation of Influence Functions for Linearizable Models
基于摘要分析。本文研究如何高效估计删除数据点对模型参数、输出及损失的影响,提出面向可线性化模型的影响函数对偶表示,将计算复杂度的主要规模依赖从模型大小转向数据集大小。 作者报告,解析分析与实验表明:当模型规模相对数据集较大,或在参数空间计算原始影响函数不可行时,对偶表示可成为更高效的替代方案。这里的可线性化模型指整个训练过程中,其行为均可由线性化近似描述的模型,并非仅要求模型在某一局部可微。摘要未提供具体模型、数据集、计算开销或近似误差,实验协议、消融及统计信息尚未验证。 这一方法的适用性受两项条件限制:模型需满足上述线性化近似;计算需显式构建一个矩阵,其规模随模型输出维度与数据集大小的乘积增长。因此,参数量大并不足以保证收益,还需核对输出维度、样本量及实际存储成本。矩阵的具体形状、求解方式与数值稳定性需查阅正文。 平台推测(待验证):其可能对应 EEG 小样本大模型中训练样本影响分析的计算瓶颈,可尝试复用对偶影响估计,但需核验具体 EEG 模型的线性化条件,并处理窗口与被试之间的数据依赖。低信噪比、通道差异及跨被试偏移可能影响线性化近似和影响估计的可靠性。一个可证伪的小实验是在固定 EEG 划分下,比较对偶估计、原始影响函数与实际删除样本后重训所得的输出及损失变化,同时记录内存和耗时;若近似误差明显或资源开销未降低,则不支持该场景的迁移价值。已有 EEG 相关工作尚未检索确认。
值得核对其如何将影响函数计算从参数空间转到数据空间,以及模型线性化与矩阵存储条件何时使这一转换真正节省计算;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net