Weight Space Correlation Analysis:量化深度学习模型的特征利用
Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models
基于摘要分析。本文研究医学影像模型是否在最终预测中利用扫描仪型号等混杂元数据,而不仅是这些信息能否从嵌入中解码。作者提出 Weight Space Correlation analysis,通过衡量主要临床任务分类头与辅助元数据任务分类头的权重对齐程度,量化特征利用。 核心机制是把分析对象从嵌入中的信息可解码性转向预测头的权重关系。作者报告,该方法成功检测了人工诱导的捷径学习,随后用于分析预测自发性早产(sPTB)的 SA-SonoNet。作者报告,在该模型的分析中,嵌入包含大量元数据信息,但 sPTB 分类器权重与宫颈长度等临床相关因素高度相关,而与扫描仪等临床无关的采集因素解耦。该结果针对特定模型与任务,不宜扩展为模型不存在其他捷径的证明。 摘要未给出权重对齐的具体定义、分类头训练方式、数据规模、划分协议、效应量或统计不确定性,实验协议、消融及统计信息尚未验证。复现时需核对不同任务分类头是否处于可比较的特征坐标系,以及权重相关性与实际预测依赖之间的对应关系。摘要提供了代码仓库,但其实现与运行条件尚未核验。 平台推测(待验证):若 EEG 任务模型与被试身份、设备或会话等辅助任务共享同一嵌入空间,可假设该分析有助于检查分类器是否利用这些混杂信息。可复用部分是分类头权重比较,需改造辅助标签和评估划分;低信噪比、小数据及辅助标签与真实任务信号纠缠,都可能使权重相关性难以解释。一个可证伪的小实验是在固定跨被试划分下,设置有、无人工注入设备相关捷径的对照,检查该方法能否区分两者,并与移除捷径后的预测变化相互核验。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于区分“嵌入包含元数据信息”与“分类器实际利用这些信息”,并通过人工诱导的捷径学习验证检测能力;其对 EEG 混杂因素分析的适用性尚未验证。
来源:OpenReview · State space models · openreview.net