跳到正文
OpenReview · Representation learning· Hong Liu; Yongqing Sun; Yukihiro Bandoh; Masaki Kitahara; Shin'ichi Satoh·· 2024-01-01精选AI 评分73

面向天气损坏鲁棒视觉识别的深度反事实表征学习

Deep Counterfactual Representation Learning for Visual Recognition Against Weather Corruptions

AI 导读

基于摘要分析。本文研究视觉模型在训练阶段无法获得多种天气条件数据时,如何抵抗测试阶段未知天气损坏引起的分布偏移,提出 Counterfactual Representation Learning(CRL)。作者报告,该方法可作为即插即用技术,用于目标识别与目标检测;研究对象是视觉数据,而非 EEG 或 BCI。 核心机制是反事实正则化:作者构建因果模型,引入反事实变量,以消除天气条件带来的未观测特征影响。该变量由随机打乱的特征近似,其依据是打乱操作能够扰动形状细节、同时保留局部纹理的既有经验观察。方法还采用信息论表征学习来促进鲁棒特征学习;摘要提及其包含两个组成部分,但未提供具体定义、损失形式及优化流程,尚不能判断反事实近似成立所需的完整条件。 作者报告在包含天气损坏的 CIFAR-100-C、ImageNet-C、KITTI-C、BDD100 k 和 CityScapes-C 上进行了实验,并称方法适用于识别与检测任务。摘要未提供具体指标、提升幅度、基线及数据划分;实验协议、消融及统计信息尚未验证,不能据此量化方法优势。 平台推测(待验证):可迁移假设是,若 EEG 中存在能够与任务信息区分的干扰表征,反事实正则化或可用于研究跨被试或跨会话分布偏移。可借鉴的是反事实变量构造与表征约束思路,而不是直接沿用图像特征打乱;EEG 依赖时序、相位及通道空间关系,随机打乱可能同时破坏有效神经信号,在低信噪比、小数据和通道不一致条件下尤其可能失效。一个可证伪的小实验是在固定跨会话划分与同一骨干模型下,对照不使用正则化及使用受限特征打乱的反事实正则化,检验其是否改善预先指定的分类指标,并核对任务信息是否被破坏。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以随机打乱特征近似反事实变量、在不使用天气变化训练数据时增强视觉鲁棒性的机制与实验,但其对 EEG 分布偏移的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net