跳到正文
OpenReview · State space models· Yonatan Slutzky; Yotam Alexander; Noam Razin; Nadav Cohen·· 2025-09-19精选AI 评分79

结构化状态空间模型的隐式偏置可被干净标签投毒破坏

The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels

AI 导读

基于摘要分析。本文研究结构化状态空间模型(SSMs)的隐式偏置能否可靠支持泛化,核心贡献是在低维 teacher 生成数据的设置中,证明某些由 teacher 正确标注的特殊训练样本仍能扭曲隐式偏置,导致泛化失败。这一现象属于 clean-label poisoning(干净标签投毒),并不依赖错误标签。 机制与理论边界:隐式偏置指梯度下降在拟合训练数据时对某些解的偏好。此前工作认为,该偏好可在低维 teacher 设置下支持 SSM 泛化;作者报告,在许多训练数据选择下这一结论仍成立,但存在特殊样本,其加入会严重改变隐式偏置并使泛化失效。因此,本文针对的是特定数据条件下泛化机制的脆弱性,而非证明所有 SSM 或所有训练数据都会出现这一问题。具体证明假设、样本构造方式、模型参数化及优化条件尚未验证。 实证证据:作者报告,独立训练的 SSM,以及作为非线性神经网络组成部分的 SSM,均展示了上述现象。摘要未提供数据集、样本规模、投毒比例、评估指标或对照结果;实验协议、消融及统计信息尚未验证,也不能据此判断攻击在真实数据中的强度与可实施性。 平台推测(待验证):若 EEG 序列模型采用 SSM,且训练流程允许少量特殊样本进入,那么标签正确未必足以保障其泛化可靠性。这一假设依赖原文投毒构造能否适配 EEG 的多通道时序结构及真实标签约束。可复用的是干净标签样本扰动与泛化评估框架,需改造的是 teacher 假设、样本约束和任务监督;低信噪比、跨被试差异、通道配置与小数据可能掩盖或改变原机制。取得全文后,可在固定 Cross-subject 划分下,对比原训练集、加入特殊但标签正确样本的训练集,以及加入等量普通样本的训练集,检验泛化变化是否具有可重复的特异性。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性或脆弱性的直接证据。

阅读价值

该研究以理论证明和实证展示指出,低维 teacher 设置下标签正确的特殊训练样本仍可能破坏 SSM 的隐式偏置,值得用于核对其泛化保证的适用边界,但其对 EEG/BCI 的影响尚未验证。

来源:OpenReview · State space models · openreview.net