跳到正文
arXiv · 架构与算子· Magdalena Trędowicz; Piotr Kubaty; Arkadiusz Lewicki; Jacek Tabor; Łukasz Struski·· 6 天前精选AI 评分75

READ:解读选择性扫描以实现忠实的视频归因

READ: Reading the Selective Scan for Faithful Video Attribution

AI 导读

基于摘要分析。本文研究 selective state-space models 在长序列视频建模中的预测归因问题,提出无参数归因方法 READ:在分类器读取状态的位置展开递归计算,将递归状态中累积的贡献追溯至影响最终预测的视频 token。研究对象是视频模型的可解释性,并非 EEG 或 BCI 解码。 核心机制是以分类器读出为归因锚点,生成统一的时空相关性图,并从中直接获得帧级与区域级相关性。与需要额外反向传播或重复模型评估的归因方法相比,READ 仅需一次前向传播。摘要未给出贡献分解公式、具体状态空间骨干、读出结构限制及实际运行开销,尚不能判断其对不同模型实现的适用范围。 作者报告,在所评估的数据集与骨干上,READ 的归因忠实性与定位表现可与计算成本明显更高的方法竞争,并能避免既有方法中的系统性相关性偏差,恢复具有意义的时间结构及类别特异结构。摘要未列出数据集名称、对照方法、指标或数值;实验协议、消融及统计信息尚未验证,因此不能据此确定优势幅度或普适性。 平台推测(待验证):若 EEG 分类器采用可访问递归状态的 selective state-space models,且预测依赖明确的状态读出,READ 的状态贡献追溯机制可能用于分析时间片段对预测的贡献;这不等于已验证的 EEG 解释能力。可复用的是读出锚定与递归贡献追溯,需改造的是视频 token 到 EEG 时间片段及通道的映射,并核对通道混合后归因是否仍可解释。低信噪比、跨被试差异及小数据过拟合可能使高相关性片段反映伪迹或被试特征。一个可证伪的小实验是在固定的跨被试划分下,对同一 EEG 状态空间分类器按归因排序遮蔽时间片段,与随机遮蔽和一种梯度归因比较预测变化,并匹配遮蔽比例、记录计算开销;性能变化只能检验归因忠实性,不能直接证明生理机制。已有 EEG 相关工作尚未检索确认。

阅读价值

READ 将 selective state-space models 的递归状态展开与分类器读出位置对应,为核查低额外计算成本的视频归因提供了具体机制,但其忠实性、定位效果及计算开销仍需结合全文协议验证。

来源:arXiv · 架构与算子 · arxiv.org