结构化状态空间模型的隐式偏置可被干净标签投毒破坏
The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels
基于摘要分析。本文研究结构化状态空间模型(SSMs)在低维教师生成数据的设定下,梯度下降的隐式偏置是否可靠地支持泛化。核心贡献是揭示:即使训练样本的标签完全由教师给出,某些特殊样本仍可扭曲隐式偏置,使模型泛化失败。 机制与证据:此前工作认为,SSMs 的隐式偏置能在上述教师设定下促进泛化。作者报告,通过形式化证明,许多训练数据选择确实能够支持泛化,但也存在特殊样本,将其纳入训练便会破坏这一行为。由于这些样本具有教师生成的正确标签,该现象属于 clean-label poisoning(干净标签投毒),而非依靠错误标签干扰学习。作者还报告,在独立训练的 SSMs 及作为非线性神经网络组成部分的 SSMs 中,均以实验展示了这一现象;摘要未提供具体指标或效应大小。 解释边界:该结论针对所研究的教师—学生设定及特殊训练样本,不应扩展为所有 SSMs 或所有自然数据分布都会失去泛化能力。教师与学生模型的具体结构、特殊样本的构造、投毒比例、优化条件,以及实验协议、消融及统计信息尚未验证。作者提出应进一步研究 SSMs 对干净标签投毒的易感性与防御方法,这并不等于本文已经验证了有效防御。 平台推测(待验证):若 EEG 序列模型采用 SSMs,可检验“标签正确但输入结构异常的训练片段可能损害泛化”这一假设。可复用的是教师—学生控制实验和训练样本扰动分析框架;需改造的是 EEG 多通道输入、时序结构及任务监督,并核对原文反例是否能在生理合理的信号约束下成立。低信噪比、跨被试差异、通道变化与小数据条件可能掩盖或混淆该机制。一个小规模检验是:在匹配训练规模的合成多通道序列中,用少量教师正确标注的特殊样本替换普通样本,对比随机替换对照下的独立测试误差,再评估其是否适用于 EEG。已有 EEG 相关工作尚未检索确认。
该研究用理论与实验指出,教师生成的正确标签并不足以保障结构化 SSM 的隐式偏置带来泛化,值得阅读其反例构造与适用条件;对 EEG/BCI 模型的影响尚未验证。
来源:OpenReview · State space models · openreview.net