跳到正文
OpenReview · Representation learning· Hong Liu; Yongqing Sun; Yukihiro Bandoh; Masaki Kitahara; Shin'ichi Satoh·· 2024-01-01精选AI 评分73

面向天气扰动下视觉识别的深度反事实表征学习

Deep Counterfactual Representation Learning for Visual Recognition Against Weather Corruptions

AI 导读

基于摘要分析。本文研究视觉模型在天气扰动引起的训练与测试分布偏移下的鲁棒性,提出 Counterfactual Representation Learning(CRL),目标是在训练时无法获得不同天气条件图像的情况下,提高模型对未见天气扰动的泛化能力;研究对象是视觉识别与目标检测,而非 EEG 或 BCI。 核心机制是反事实正则化:作者构建因果模型,引入反事实变量,以消除天气条件带来的未观测特征影响,并用随机打乱的特征近似该变量。其依据是既有经验观察,即打乱操作可扰动形状细节,同时保留局部纹理。方法还采用信息论表征学习来鼓励鲁棒特征学习,摘要提及其包含两个组成部分,但未说明具体定义、损失形式及优化流程。 作者报告在 CIFAR-100-C、ImageNet-C、KITTI-C、BDD100 k 和 CityScapes-C 五个包含天气扰动的基准上开展实验,并称 CRL 可作为即插即用技术,适用于物体识别与检测。摘要未提供具体指标、收益数值、训练与测试划分、扰动强度或对照配置,因此尚不能量化效果,也不能判断各协议下的收益是否一致;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可迁移点是通过特征干预削弱非任务因素,可能对应 EEG 中记录条件变化造成的分布偏移,但视觉中的形状与纹理假设不能直接套用于 EEG。若探索迁移,可复用反事实正则化思路,需重新定义时序或通道特征的干预方式;随机打乱也可能破坏 ERP 时序、相位关系或通道拓扑,尤其在低信噪比和小样本条件下损害任务信息。一个可证伪的小实验是在固定 Cross-session 划分中,对比同一 EEG 编码器加入与不加入该正则化时的表现,并检查干预是否同时损伤干净信号上的任务性能。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以随机打乱特征近似反事实变量、在不使用天气变化训练数据时增强视觉鲁棒性的机制,但其因果解释、具体收益及向 EEG 的迁移有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net