跳到正文
OpenReview · State space models· Lu Chen; Shaofeng Li; Benhao Huang; Fan Yang; Zheng Li; Jie LI; Yuan Luo·· 2024-12-09精选AI 评分72

与对抗扰动相对:无害扰动空间

Contrasting Adversarial Perturbations: The Space of Harmless Perturbations

AI 导读

基于摘要分析。本文研究深度神经网络中与对抗扰动相对的“无害扰动空间”:作者提出,某些扰动即使幅度很大,也可使网络输出保持不变,并将其归因于线性或非线性层的非单射映射,而非一般意义上的抗噪能力。 核心机制是多个不同输入可被映射到同一输出。对于输入维度大于输出维度的线性层,参数矩阵零空间的正交基所构成的任意线性组合不会改变该层输出。对于非线性层,无害扰动空间可能随层的性质和输入样本而扩展。因此,这种输出不变性针对特定空间中的扰动,不能外推为网络对任意大幅噪声均稳健;中间层的零空间如何对应可施加于原始输入的扰动,也需结合全文核对。 作者报告求解了一族对网络决策冗余的通用扰动空间,并提出用于隐藏敏感数据和模型识别。摘要未给出具体网络、数据集、求解算法、评估指标或应用验证细节;实验协议、消融及统计信息尚未验证。输出不变本身并不等同于隐私得到保护,仍需核对其威胁模型、信息可恢复性与模型识别可靠性。 平台推测(待验证):若 EEG 解码器包含可分析的降维线性映射,可假设其零空间用于检验模型忽略了哪些输入方向,对应 EEG 解码中信号信息保留与模型不变性的问题。可复用零空间计算与输出一致性检查,但需明确预处理、输入窗口及后续非线性模块的约束。低信噪比、跨被试变化、通道配置差异和小样本训练可能使这些方向仅对某个模型有效,并不代表生理上无关的信息。一个可证伪的小实验是:在固定被试内划分、仅用训练数据拟合的解码器上,对测试 EEG 施加可映射至原始输入的零空间扰动,与同范数随机扰动比较输出变化,并检验加入实际预处理后不变性是否仍成立。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其从非单射映射与零空间解释输出不变扰动的机制,但敏感数据隐藏、模型识别及 EEG 迁移的实际有效性仍需核对完整实验。

来源:OpenReview · State space models · openreview.net