跳到正文
arXiv · 泛化与分布偏移· Payal Mohapatra; Yueyuan Sui; Haodong Yang; Benjamin Lundell; Stephen Xia; Qi Zhu·· 4 天前精选AI 评分76

用于多模态时间序列选择性测试时自适应的源域学习依赖度

Source-Learned Reliance for Selective Test-Time Adaptation of Multimodal Time Series

AI 导读

基于摘要分析。研究针对多模态可穿戴系统在传感器流受噪声污染或不可用时的可靠性问题,提出 CARAT:在源域训练阶段估计模型对各模态的依赖程度,并在部署时结合轻量异常检测,选择省略或衰减可疑模态,避免逐一评估候选模态子集。 核心机制是将模型依赖度与运行时污染检测解耦。非对称模态 dropout 课程训练使骨干能够处理模态缺失,并利用窗口级输入投影梯度范数构建冻结的、与骨干特定对应的依赖代理。部署时,轻量单类检测器标记可疑传感器流,依赖代理再指导联合决策:将可疑模态集合替换为骨干训练时使用的缺失符号,或在融合前衰减其表示。该设计不依赖跨模态一致性作为唯一可靠性依据,尤其针对不同传感器测量不同物理过程时,一致性可能误导判断的问题。 作者报告,在四个可穿戴数据集、五类污染、三个骨干和八个测试时自适应基线的评估中,CARAT 获得最高总体 macro-F1,最佳平均排名为 2.42;在 12 个等权重的数据集—骨干设置上,比最强基线 EATA 高 1.58 个 F1 点。在五个计算性能剖析配置中,作者报告其 GFLOPs 比 EATA 少 9.49%,更新参数数量少 47.82%。作者还报告,PTA 等多模态方法在 IMU 主导的同质数据集上具有竞争力,而 TENT、EATA 等单模态方法在异质数据集上可达到或超过 PTA。上述结果不能直接推广到未评估的传感器组合;数据集名称、划分、污染强度、更新目标、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 与其他生理或运动传感器组成多模态输入,源域依赖代理与在线污染检测分离的机制,可能用于应对 EEG 低信噪比及部分传感器失效。可复用的是缺失鲁棒训练和省略/衰减决策框架;需改造输入投影、缺失符号及异常检测器。其依赖源域数据覆盖模态缺失情形,跨被试漂移、小数据和通道配置变化可能使梯度代理或检测阈值失效。一个可检验的小实验是在固定跨被试划分下,为 EEG 与辅助传感器分别施加预设污染或缺失,对比完整 CARAT、固定省略、固定衰减与 EATA,检验 macro-F1 和计算成本;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 CARAT 如何将源域学习的模态依赖代理与在线异常检测解耦,以及省略和衰减策略能否在不同传感器组合下兼顾鲁棒性与计算成本;其 EEG 迁移价值尚未验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org