跳到正文
OpenReview · State space models·· 2026-08-31精选AI 评分75

混合权重空间随机性能否提升多模态融合的对抗鲁棒性?

Can Hybrid Weight-Space Stochasticity Advance Adversarial Robustness in Multimodal Fusion?

AI 导读

基于摘要分析。本文研究多模态融合中 ℓ2 可认证鲁棒性与强 ℓ∞ 攻击下经验鲁棒性的兼顾问题,提出统一随机化防御 Hybrid Weight-Space Convolutional Stochasticity(HyWeCS),在训练和推理阶段对卷积权重引入互补随机机制。 方法在每个滤波器内互不重叠的权重位置设置 Orthogonally Retracted Random-Projection Weights(ORaW)与 Stochastic Hybrid-Space Attention-Noise Weights(SHANW),分别利用投影多样性与自调制注意力噪声。互惠式中间交叉融合复用末端随机权重,无需另设特征空间随机模块。作者报告,通过共享 Lipschitz 校准建立统一的 2-Lipschitz 分数界,用于形式化认证;具体假设、认证半径与推导条件尚未验证。 作者报告,在八个多模态基准上,相较所比较的最强防御,可认证鲁棒性与经验鲁棒性的提升分别最高约为 12.4% 和 12.8%,且增益在自适应攻击下仍保持;摘要未说明这些百分数的具体指标定义,不能直接解释为百分点。作者另报告,参数量和 GFLOPs 分别最多降低约 60.5% 和 91.1%,但对应模型、比较基线及计算设置未在摘要中展开。基准名称、模态组合、攻击预算、随机推理采样成本、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若用于包含 EEG 的多模态融合,权重随机化可能提供研究输入扰动鲁棒性的机制路径,但自然与医学数据上的结果并不等于 BCI 有效性。可考虑复用权重随机化模块,并按 EEG 编码器和模态融合结构改造;低信噪比、小数据及被试差异可能使随机化损害有效特征。一个可证伪的小实验是在固定跨被试划分与训练预算下,对比同一融合模型启用、禁用该模块时的干净输入表现及统一攻击预算下的鲁棒性,同时计入随机采样成本。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其权重空间随机化与共享 Lipschitz 校准如何兼顾 ℓ2 可认证鲁棒性和 ℓ∞ 经验鲁棒性,但摘要中的效率与鲁棒性增益仍需结合完整评估协议验证。

来源:OpenReview · State space models · openreview.net