跳到正文
OpenReview · Representation learning· Yong Wu; Guo-Dui He; Li-Hua Wen; Xiao Qin; Chang-An Yuan; Valeriya Gribova; Vladimir Fedorovich Filaretov; De-Shuang Huang·· 2023-01-01精选AI 评分71

用于跨模态可见光—热成像行人重识别的判别性局部表征学习

Discriminative Local Representation Learning for Cross-Modality Visible-Thermal Person Re-Identification

AI 导读

基于摘要分析。本文研究可见光—热成像行人重识别(VTReID),提出判别性局部表征学习模型 DLRL,通过增强局部细粒度表征并建模部件间语义关系,应对跨模态差异及表征鲁棒性问题;研究对象是图像检索,而非 EEG 或 BCI。 方法包括三个模块:上下文注意力聚合模块(CAAM)增强可见光与热成像特征的判别能力并提取上下文线索;中高层特征集成学习方法(IMHF)结合具有判别性的中层信息和稳健的高层信息,提取部件级显著表征;部件引导图卷积模块(PGCM)挖掘各模态内部部件表征之间的结构关系。其机制依赖可供局部部件提取的图像结构,具体监督方式、损失函数及训练规模尚未验证。 作者报告,在 RegDB 上取得 Rank-1 92.77%、mAP 82.05%,在 SYSU-MM01 上取得 Rank-1 63.04%、mAP 60.58%,并称优于当时的先进方法。摘要未说明检索方向、查询与图库设置、数据划分或对照方法,因此这些数字仅能作为各数据集上作者报告的结果,不能据此进行跨协议比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):局部表征聚合与部件关系建模可作为跨会话或跨被试 EEG 表征学习的机制假设,但图像中的人体部件不等同于 EEG 通道或脑区。迁移时需改造局部特征提取器与图节点定义,并检验其是否学习了稳定关系,而非噪声或通道配置差异;低信噪比、跨被试空间差异及小样本均可能使该机制失效。一个可证伪的小实验是在固定的跨被试 EEG 划分和同一编码器下,对比无关系聚合、预设邻接图及可学习部件图,并检查收益是否在通道扰动后保持。上述不是本文已验证的贡献,相关 EEG 工作尚未检索确认。

阅读价值

值得核对 DLRL 如何结合局部注意力、中高层特征与部件图关系处理可见光—热成像差异;其对 EEG 的价值仅是机制迁移假设,尚未验证。

来源:OpenReview · Representation learning · openreview.net