核空间中的对抗式概念擦除
Adversarial Concept Erasure in Kernel Space
基于摘要分析。本文研究文本神经模型表示中可解释概念的编码与移除问题,提出对已有线性概念移除目标进行核化,以应对概念信息不一定局限于线性子空间的情况。主要研究对象是文本表示及其中的二元性别概念,而非 EEG 或 BCI。 传统线性概念移除方法识别并去除与目标概念对应的线性子空间,具有易处理、可解释的优势,但原表示中的非线性预测器仍可能恢复概念。本文以核化方式扩展这一目标。作者报告,在摘要所述的概念恢复评估中,该方法能够抵御某些非线性对手;具体核函数、优化目标、对手模型、数据划分及效果数值尚未验证。 作者同时报告,在二元性别概念及其中和任务中,未发现一个核空间能够独占全部概念相关信息,因此难以同时防御所有非线性对手。这一区分很重要:限制特定预测器恢复概念的能力,不等于证明表示中已不存在该概念信息。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可用于探索 EEG 表示中被试或会话信息的可恢复性,但文本领域的结果不构成 BCI 有效性证据。迁移假设是,在具备被试或会话标签的固定 EEG 表示上,核化概念擦除可能抑制部分非线性身份信息,同时保留任务信息。可复用概念擦除与对手评估思路,需改造表示提取、核选择及任务保留评价;低信噪比、通道差异和小样本可能使核方法过拟合,被试信息与任务信息耦合也可能造成性能损失。小规模检验可在相同数据划分下比较未擦除、线性擦除与核化擦除,分别测量未参与擦除优化的非线性对手恢复能力及下游任务表现。已有 EEG 相关工作尚未检索确认。
值得阅读之处在于将线性概念移除目标核化,并通过非线性对手检验概念是否仍可恢复;作者报告的局限也提示,单一核空间中的移除效果不能等同于概念信息被彻底消除。
来源:OpenReview · State space models · openreview.net