跳到正文
OpenReview · State space models· Yonatan Slutzky; Yotam Alexander; Noam Razin; Nadav Cohen·· 2024-01-01精选AI 评分80

结构化状态空间模型的隐式偏置可被干净标签投毒破坏

The Implicit Bias of Structured State Space Models Can Be Poisoned With Clean Labels

AI 导读

基于摘要分析。本文研究结构化状态空间模型(SSMs)的隐式偏置是否可靠地支持泛化,核心贡献是在低维 teacher 生成数据的设定中,揭示标签正确的特殊训练样本也可能扭曲隐式偏置并导致泛化失败。 这里的隐式偏置指梯度下降拟合训练数据时对某些解的偏好。此前工作认为,在低维 teacher 设定下,这种偏好有助于 SSMs 泛化;本文重新考察该设定。作者报告,其理论证明表明:尽管许多训练数据选择能使隐式偏置促进泛化,仍存在特殊样本,一旦纳入训练就会使这一机制失效。这些样本的标签仍由 teacher 给出,因此问题并非错误标签,而是对抗机器学习中的 clean-label poisoning(干净标签投毒)。 作者报告,在独立训练的 SSMs 以及作为非线性神经网络组成部分的 SSMs 中,均进行了实证展示。摘要未提供具体模型结构、投毒样本构造、样本比例、数据规模、评估指标或对照结果;理论适用条件、实验协议、消融及统计信息尚未验证。不能据此认定所有 SSMs、实际大型语言模型或神经信号任务均具有相同脆弱性。 平台推测(待验证):若 EEG 解码采用 SSMs,训练数据的组成可能是独立于标签错误之外的鲁棒性风险。但原研究依赖低维 teacher 及其正确监督标签,真实 EEG 的标签通常对应任务条件,并不直接提供可控的信号生成机制。可复用的是“保持标签正确、改变训练样本组成、观察泛化变化”的测试思路;需要改造的是样本构造与生理合理性约束。低信噪比、被试差异、通道配置及小样本训练可能混淆投毒效应与普通分布变化。一个可证伪的小实验是假设在固定跨被试划分下,对比加入特殊但标签正确的训练样本与等量随机样本后的 SSMs 测试表现,并重复训练以核对差异是否稳定;该方案不是本文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

该研究通过理论分析与实证展示,揭示了结构化状态空间模型在标签正确时仍可能因特殊训练样本而丧失泛化能力的机制,值得用于审视其隐式偏置的适用边界,但对 EEG/BCI 的影响尚未验证。

来源:OpenReview · State space models · openreview.net