STRIDE:可在激活空间中估计训练数据归因
STRIDE: Training Data Attribution Can Be Estimated In Activation Space
基于摘要分析。本文研究训练数据归因:识别哪些训练样本影响模型的特定行为,以支持故障调试、安全问题调查与部署审计。STRIDE 将影响估计从参数空间转移到激活空间,以降低显式处理参数交互带来的计算开销。 其核心机制是学习低秩 steering operators,通过移动内部表征,近似在训练数据子集上重新训练所产生的效应;随后求解正则化回归问题,将子集层面的表征变化分解为逐样本影响分数。摘要未给出算子的具体构造、激活提取位置、子集采样方式、回归目标或正则化形式,这些实现细节尚未验证。 作者报告,在所开展的实验中,STRIDE 能识别高影响训练样本并检测数据泄漏,相比既有方法具有更好的表现和数量级的速度优势。不过,摘要未提供模型、数据集、对照方法、数值结果与计时条件,尚不能判断其适用规模、精度—成本权衡或不同任务间的一致性;实验协议、消融及统计信息尚未验证。这里的数据泄漏检测是作者报告的应用能力,并非对本文实验存在泄漏的判断。 平台推测(待验证):这一机制可能用于追踪 EEG 解码器错误预测对应的高影响训练片段,但原文并未验证 EEG 或 BCI。可复用的是激活空间归因与子集效应分解思路;需适配的部分包括片段级与被试级归因单位,以及对通道配置和跨被试差异的处理。低信噪比、相关片段和小样本可能使影响分数不稳定。一个可检验的小实验是在固定 Cross-subject 划分中,对少量训练子集执行真实重训练,比较其对留出被试预测的影响与 STRIDE 估计是否一致。已有 EEG 相关工作尚未检索确认。
值得核对 STRIDE 如何用激活空间中的低秩算子近似子集重训练效应,以及如何恢复样本级影响分数;摘要中的精度与速度优势仍需结合完整评估协议验证。
来源:OpenReview · State space models · openreview.net