跳到正文
OpenReview · Representation learning· Weipeng Hu; Bohong Liu; Haitang Zeng; Yanke Hou; Haifeng Hu·· 2022-08-01精选AI 评分71

用于可见光-红外行人重识别的对抗解耦与模态不变表征学习

Adversarial Decoupling and Modality-Invariant Representation Learning for Visible-Infrared Person Re-Identification

AI 导读

基于摘要分析。本文研究可见光-红外行人重识别(RGB-IR ReID)中,同一身份在不同光谱域下表征差异较大的问题,提出 DMiR,通过对抗解耦、模态不变判别学习和正交去相关,提取光谱不变且具有身份区分能力的表征;主要研究对象是行人图像,并非 EEG 或 BCI。 方法包含三个部分。Domain-related Representation Disentanglement(DrRD)利用 Identity-Net 和 Domain-Net 分别提取身份相关与域相关特征,通过最小—最大过程,使域相关分支保留光谱信息、身份相关表征减少域信息。Modality-invariant Discriminative Representation(MiDR)在 Identity-Net 中结合正负样本对变化、语义差异及成对语义变化,增强类内紧凑性并降低域差异;具体损失形式尚未验证。Representation Orthogonal Decorrelation(ROD)约束两类特征的相关性,以减少身份与模态信息相互混入。作者报告比较了特征级与参数级 ROD,并因特征级方案的去相关表现更好而选择它。 作者报告在两个主流 RGB-IR ReID 数据集上的实验支持方法有效性,但摘要未给出数据集名称、划分、对照基线及指标数值,无法据此量化收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是假设将任务信息与域信息显式分离,有助于缓解 EEG 的跨被试或跨会话偏移。原方法依赖身份判别、域分类及正负样本对构造;若迁移,需要把图像编码器改为 EEG 编码器,将身份目标改为任务类别,并以被试或会话定义域。可考虑复用解耦与去相关约束,但 EEG 低信噪比、小数据及通道差异可能使域分支不稳定,且任务信号与个体差异未必可完全分离,强约束可能损伤判别信息。一个可证伪的小实验是在固定跨被试划分、相同训练数据下,对比基础 EEG 分类器与加入解耦及 ROD 的版本,分别检验任务分类表现和表征中的域可预测性;若域信息减少但任务表现下降,则不支持该迁移假设。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 DMiR 如何结合对抗解耦、身份判别与特征去相关来分离光谱域信息,其对 EEG 域偏移的可复用性尚未验证。

来源:OpenReview · Representation learning · openreview.net