[短文] STRIDE:可在激活空间中估计训练数据归因
[Short] STRIDE: Training data attribution can be estimated in activation space
基于摘要分析。本文研究如何识别驱动模型特定行为的训练样本,提出 STRIDE,将训练数据归因从参数空间转向激活空间,以降低随模型规模增长的计算成本。其主要研究对象是通用模型的训练数据影响估计,而非 EEG 或 BCI 解码。 核心机制是学习低秩 steering operators,通过移动内部表示来近似在训练数据子集上重训练所产生的效应,再求解正则化回归问题,将子集层面的表示偏移分解为逐样本影响分数。与摘要所述参数空间归因方法相比,STRIDE 的区别在于绕过显式参数交互;但算子的学习目标、子集构造、回归正则项及归因查询所需计算尚未验证。 作者报告,在文中实验条件下,STRIDE 能准确识别有影响的训练样本并检测数据泄漏,相较既有方法表现更优,且速度快多个数量级。摘要未提供模型、数据集、划分、对照方法、归因指标或计时条件,因此不能确定这些优势的适用范围;实验协议、消融及统计信息尚未验证。上述泄漏检测是作者报告的应用结果,不意味着本文或其他研究已被证实存在泄漏。 平台推测(待验证):若 EEG 模型可提取内部激活,且能够构造训练子集并获得相应重训练参照,该机制可能用于审计异常训练试次对解码行为的影响。可复用的是低秩表示干预与样本影响分解框架;需改造和核对的是 EEG 表示位置、子集采样以及被试和会话分组。低信噪比、通道差异、小数据及同一被试试次间相关性可能使影响分数更多反映被试身份或伪迹,而非任务相关信息。一个可检验的小实验是在固定被试内划分下,对少量训练试次进行实际删除重训练,比较预测影响排序与测试行为变化,并以参数空间归因基线核对准确性和总耗时。已有 EEG 相关工作尚未检索确认。
值得核对 STRIDE 如何以激活空间中的低秩表示偏移近似子集重训练效应,并通过正则化回归恢复样本级影响;其归因准确性、速度优势及 EEG 适用性仍需结合完整实验验证。
来源:OpenReview · State space models · openreview.net