跳到正文
OpenReview · Representation learning· Jianbing Wu; Hong Liu; Wei Shi; Mengyuan Liu; Wenhao Li·· 2024-01-01精选AI 评分74

面向可见光-红外行人重识别的风格无关表征学习

Style-Agnostic Representation Learning for Visible-Infrared Person Re-Identification

AI 导读

基于摘要分析。本文研究可见光-红外行人重识别(VI Re-ID)中异构图像的风格差异,提出 STyle-Agnostic Representation learning(STAR)框架,在数据与特征两个层面渐进缩小模态差距。其主要研究对象是跨模态行人身份匹配,而非 EEG 或 BCI。 数据层面,Cross Modality Blending(CMB)通过保持身份的图像块交换与平滑跨模态混合,合成中间模态;作者将其描述为无参数的数据增强方案。特征层面,Adaptive Style Normalization(ASN)通过双层自适应分布归一化与判别性补偿,尝试去除风格干扰,同时保留身份判别内容。Reciprocal Modality Bridging Learning(RMBL)则使用两个轻量级模态变换模块,在最短距离约束下操纵高阶统计量以构建中间空间,并以该中介为参照进行相互的分布对齐。具体统计量、约束与损失形式尚未验证。 作者报告,STAR 在 VI Re-ID 基准实验中相较当时先进方法表现出优势与灵活性;摘要未给出具体数据集、划分、指标或数值,因此无法量化增益或判断各模块的独立贡献。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“分离风格统计与判别内容”的机制,可作为研究 EEG 跨会话分布变化的一项假设,但图像身份保持增强依赖空间图像块及身份语义,不能直接照搬到 EEG。可优先评估 ASN 的统计归一化思想,并按 EEG 的通道与时间结构改造;若被归一化的统计量同时承载任务信息,或低信噪比、小样本导致统计估计不稳,可能损害解码。一个可检验的小实验是在固定 EEG 编码器和跨会话划分下,对比不加归一化、常规归一化与 ASN 改造版,保持训练数据及标签可见范围一致,检验收益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注 STAR 如何将数据级中间模态合成、风格统计归一化与中介引导的特征对齐结合起来,但其性能增益及各模块贡献仍需核对全文实验,不能据此认定对 EEG 有效。

来源:OpenReview · Representation learning · openreview.net