跳到正文
arXiv · 泛化与分布偏移· Guimin Hu; Qiwei Peng·· 1 天前精选AI 评分75

超越不变性:多模态学习中分布偏移的逐因子选择性处理

Beyond Invariance: Factor-wise Selective Treatment of Shifts for Multimodal Learning

AI 导读

基于摘要分析。本文研究多模态学习中的分布偏移问题,提出 FaShift:不再统一抑制与环境相关的变化,而是根据潜在表征因子的预测作用与跨环境稳定性,选择性地抑制、保留或衰减其贡献。研究对象是通用多模态学习,并非 EEG 或 BCI。 机制上,FaShift 对多模态表征进行因子化,并结合分布变化、干预效应和跨环境稳定性诊断各因子,将其区分为无预测作用、稳定有预测作用,以及有预测作用但不稳定的三类。其核心主张是:发生偏移的信息不必全部删除,处理方式应取决于其预测价值及稳定性。具体因子化方式、干预如何实施、诊断指标、损失函数及训练与推理流程尚未验证。 作者报告,在 MOSI、MOSEI 和 CH-SIMS 上,FaShift 的分布内(ID)Accuracy 与 F1 均为所比较方法中最佳。对于分布外(OOD)评估,相较于报告 OOD 结果的最强竞争方法,作者报告 MOSI 的 Accuracy/F1 分别提高 1.5/3.6 个百分点,MOSEI 分别提高 1.7/2.7 个百分点,并在 CH-SIMS 上取得最佳已报告 OOD Accuracy 与 F1。摘要未给出具体划分、偏移构造、基线名称或绝对分数,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若多模态 EEG 数据中的跨被试或跨会话变化同时包含任务相关成分与干扰成分,逐因子选择性处理可能比统一不变性约束更合适。这一假设依赖可用的多模态观测、任务监督及足以估计稳定性的多个训练环境;可复用的是因子诊断与选择性处理思路,编码器、因子化及干预定义需适配神经信号。低信噪比、通道差异及小样本可能使任务成分与伪迹混合,导致错误抑制。可在固定的多模态 EEG 跨被试留出协议下,对比统一不变性与选择性处理,并单独移除因子诊断检验其贡献;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 FaShift 如何区分稳定有用与不稳定但有用的偏移因子,以及选择性处理相对统一不变性约束的收益;其 EEG/BCI 适用性尚未验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org